[논문 리뷰] Tensor Analysis with n-Mode Generalized Difference Subspace

Bernardo B. Gatto, Eulanda M. dos Santos외 3명|arXiv (Cornell University)|2019. 09. 04.

Human Pose and Action Recognition참고 문헌 64인용 수 4

한 줄 요약

이 논문은 다중선형 대수와 제품 그라스만 다양체 상의 분류적 부분공간 학습을 활용하는 텐서 기반 분류 방법인 n-모드 일반화된 차분 부분공간(n-mode GDS)을 제안한다. n-모드 특이값 분해, 모드 중요도를 위한 n-모드 피셔 스코어, 가중 지오데식 거리 측도를 통합함으로써, 사전 훈련 모델이나 전이 학습 없이도 행동 및 제스처 인식에서 최신 기술 수준의 정확도를 달성한다.

ABSTRACT

The increasing use of multiple sensors, which produce a large amount of multi-dimensional data, requires efficient representation and classification methods. In this paper, we present a new method for multi-dimensional data classification that relies on two premises: 1) multi-dimensional data are usually represented by tensors, since this brings benefits from multilinear algebra and established tensor factorization methods; and 2) multilinear data can be described by a subspace of a vector space. The subspace representation has been employed for pattern-set recognition, and its tensor representation counterpart is also available in the literature. However, traditional methods do not use discriminative information of the tensors, degrading the classification accuracy. In this case, generalized difference subspace (GDS) provides an enhanced subspace representation by reducing data redundancy and revealing discriminative structures. Since GDS does not handle tensor data, we propose a new projection called n-mode GDS, which efficiently handles tensor data. We also introduce the n-mode Fisher score as a class separability index and an improved metric based on the geodesic distance for tensor data similarity. The experimental results on gesture and action recognition show that the proposed method outperforms methods commonly used in the literature without relying on pre-trained models or transfer learning.

연구 동기 및 목표

• 기존의 텐서 분류 방법이 다차원 데이터 내의 분류적 구조를 효과적으로 활용하지 못하는 한계를 해결하기 위해.
• 스패티오템포럴 관계를 유지하고 고차원 데이터의 부복잡성을 줄이는 텐서 분류 프레임워크를 개발하기 위해.
• 제품 그라스만 다양체 상의 텐서 데이터를 위한 기하학적 인식 능력이 있는 분류적 부분공간 학습 방법을 제안하기 위해.
• 사전 훈련된 딥 네URAL 네트워크에 의존하지 않고 수작업 특징과 텐서의 내재적 구조를 활용하여 일반화 성능을 향상시키기 위해.
• 소수의 샘플과 고차원 데이터 세트에 적합한 선형 복잡도를 가진 확장 가능한 솔루션을 제공하기 위해.

제안 방법

• 텐서의 각 모드에 일반화된 차분 부분공간(GDS)를 적용하는 투영 방법인 n-mode GDS를 제안하여 다중 모드 간의 분류적 표현을 가능하게 한다.
• 각 텐서 모드의 중요도를 자동으로 가중치화하기 위한 모드별 분리성 지표로 n-모드 피셔 스코어를 도입한다.
• 제품 그라스만 다양체(PGM) 상에서 가중 지오데식 거리 측도를 사용하여 텐서 부분공간 간의 유사도를 측정하면서 기하학적 구조를 유지한다.
• 각 모드를 별도로 분석하기 위해 텐서 편개(매트리시제이션)를 사용하여 모드 기반 처리 및 부분공간 학습을 가능하게 한다.
• 수작업 특징(HOG, HOF, MBH)과 텐서 기반 표현을 조합하여 사전 훈련 없이도 분류 능력을 향상시킨다.
• 각 텐서 모드로부터 저랭크 표현을 추출하기 위해 n-모드 특이값 분해(n-SVD)를 적용하여 부복잡성을 줄이고 내재 구조를 유지한다.

실험 결과

연구 질문

• RQ1 일반화된 차분 부분공간 접근법이 다중 모드 텐서 데이터로 효과적으로 확장되어 분류 정확도를 향상시킬 수 있는가?
• RQ2 다중 텐서 모드 간의 분류적 정보를 최적의 방식으로 통합하여 클래스 간 분리도를 향상시킬 수 있는가?
• RQ3 제안된 n-모드 피셔 스코어가 다양한 텐서 모드의 상대적 중요도를 신뢰할 만하고 자동으로 추정할 수 있는가?
• RQ4 제품 그라스만 다양체 상의 가중 지오데식 거리가 텐서 기반 분류에서 유사도 측정을 향상시킬 수 있는가?
• RQ5 수작업 특징은 딥러닝이나 전이 학습에 의존하지 않고 텐서 분류 성능을 어느 정도 향상시킬 수 있는가?

주요 결과

• n-mode GDS 방법은 C3D와 이중 스트림 CNN과 같은 최신 기술 수준의 방법보다 행동 및 제스처 인식에서 뛰어난 정확도를 달성하였으며, 사전 훈련 모델 없이도 경쟁 가능한 정확도를 확보하였다.
• HOG 특징의 사용으로 KTH 및 UCF-101 데이터셋에서 n-mode GDS 정확도가 각각 약 2% 향상되었으며, 외관 특징의 유용성을 확인하였다.
• HOF 및 MBH 특징을 통합함으로써 정확도가 약 7% 향상되어 제안된 프레임워크에서 시간적 특징의 이점이 입증되었다.
• n-mode 피셔 스코어 기반의 가중치 전략은 각각 두 데이터셋에서 1.5%와 2%의 성능 향상을 이끌어내어 더 분류적일 수 있는 모드에 더 높은 가중치를 자동으로 할당하였다.
• 모든 기술자(예: HOG, HOF, MBH)를 조합했을 때 최적의 성능을 달성하였으며, HOG 특징을 사용할 경우 모드 1, 2, 3의 가중치는 각각 0.32, 0.29, 0.38였다.
• 결과는 공간-시간 모드를 다양체 상에서 해석하고 기여도를 균형 있게 조정하는 것이 분류 정확도를 극대화하는 데 필수적임을 확인시켰다.