[논문 리뷰] Tensor Valued Common and Individual Feature Extraction: Multi-dimensional Perspective

Ilia Kisil, Giuseppe G. Calvi외 1명|arXiv (Cornell University)|2017. 11. 01.

Tensor decomposition and applications참고 문헌 19인용 수 3

한 줄 요약

이 논문은 CPD와 LL1 텐서 분해를 사용하여 다중 블록 데이터에서 공통 및 개별 특징을 추출하기 위한 텐서 기반 프레임워크를 제안한다. 비음성 제약 조건을 부과함으로써 데이터의 다중선형 구조를 활용함으로써 차원 감소를 달성하고 분류 정확도를 향상시킨다. SVM를 사용한 ORL 얼굴 데이터셋에서 최대 94.7%의 정확도를 기록하였으며, 원본 데이터 및 행렬 기반 방법에 비해 뚜렷이 뛰어난 성능을 보였다.

ABSTRACT

A novel method for common and individual feature analysis from exceedingly large-scale data is proposed, in order to ensure the tractability of both the computation and storage and thus mitigate the curse of dimensionality, a major bottleneck in modern data science. This is achieved by making use of the inherent redundancy in so-called multi-block data structures, which represent multiple observations of the same phenomenon taken at different times, angles or recording conditions. Upon providing an intrinsic link between the properties of the outer vector product and extracted features in tensor decompositions (TDs), the proposed common and individual information extraction from multi-block data is performed through imposing physical meaning to otherwise unconstrained factorisation approaches. This is shown to dramatically reduce the dimensionality of search spaces for subsequent classification procedures and to yield greatly enhanced accuracy. Simulations on a multi-class classification task of large-scale extraction of individual features from a collection of partially related real-world images demonstrate the advantages of the "blessing of dimensionality" associated with TDs.

연구 동기 및 목표

• 대규모 다중 블록 데이터에서 차원의 저주 문제를 텐서 구조를 활용하여 해결하기 위해.
• 텐서 분해를 통해 다중 블록 데이터에서 물리적으로 의미 있는 공통 및 개별 특징을 추출하기 위해.
• 저질감 텐서 근사에 의한 데이터 분산과 차원 감소를 통해 분류 성능을 향상시키기 위해.
• 인자 행렬에 비음성 제약 조건을 도입하여 수학적 취급 가능성과 해석 가능성 확보를 위해.
• 실세계 분류 작업에서 전통적인 행렬 기반 접근법에 비해 텐서 기반 특징 추출의 우수성을 입증하기 위해.

제안 방법

• 이 방법은 다중선형 질감 분해(LL1)와 CANDECOMP/PARAFAC(CPD)를 사용하여 텐서 구조 데이터에서 공통 및 개별 특징 부분공간을 분리한다.
• 특히 이미지 데이터에서 물리적 해석 가능성 유지 목적의 모드-3 인자 행렬에 비음성 제약 조건을 적용한다.
• 텐서 분해의 외적 곱 구조를 활용하여 다수의 관측치 간 공유 정보를 모델링한다.
• 비음성 최소 제곱 최적화를 적용하여 물리적 제약 조건을 강제하기 위해 대체로 반복 최소 제곱(ALS) 알고리즘을 CPD 및 LL1에 적응시킨다.
• 동일 주제의 이미지를 제3 모드에 따라 스택하여 3차원 텐서를 구성함으로써 공동 분석을 가능하게 한다.
• 정확도 평가의 공정성을 확보하기 위해 표준 모델(SVM, NN, QD, cKNN)을 사용해 추출된 개별 특징에서 분류를 수행한다.

실험 결과

연구 질문

• RQ1 어떻게 텐서 분해를 통해 다중 블록 데이터에서 공통 및 개별 특징을 효과적으로 분리할 수 있는가?
• RQ2 외적 곱은 텐서 분해가 물리적으로 의미 있는 특징 추출과 어떻게 연결되는가?
• RQ3 인자 행렬에 비음성 조건을 적용할 경우 이미지 특징 추출에서 해석 가능성과 성능 향상에 어떤 기여를 하는가?
• RQ4 행렬 기반 방법에 비해 텐서 기반 특징 추출이 얼마나 효과적으로 차원 감소를 수행하고 분류 정확도를 향상시키는가?
• RQ5 입력 차원이 동일하지 않은 다양한 데이터 구조와 분류 모델에 대해 제안된 방법이 일반화 가능한가?

주요 결과

• LL1 분해를 통해 추출한 개별 특징을 사용한 SVM에서 제안된 방법이 94.7%의 분류 정확도를 달성하였으며, 원본 데이터의 83.9%에 비해 뚜렷이 뛰어난 성능을 보였다.
• 신경망(NN)의 분류 정확도는 원본 데이터의 4.35%에서 추출된 개별 특징을 사용한 경우 92.2%로 향상되어 과적합 감소를 시사한다.
• LL1 기반 방법이 모든 분류기에서 가장 높은 정확도를 기록하여 분류 가능한 특징을 효과적으로 추출함을 입증하였다.
• 비음성 제약 조건은 물리적 해석 가능성 향상과 함께 추출된 특징의 분산 감소에 기여하여 모델 일반화 능력을 향상시켰다.
• 모든 순서의 텐서에 대해 잘 일반화되며, 관측치가 동일한 모드에 따라 연결된 경우 적용이 가능하여 다양한 데이터 유형에 대한 탄력적인 응용이 가능하다.
• 결과는 텐서 분해에서의 '차원의 복수의 이점'을 확인하였으며, 고차원 구조가 더 효율적이고 정확한 특징 추출을 가능하게 한다.