[논문 리뷰] Tensor Canonical Correlation Analysis for Multi-view Dimension Reduction

Yong Luo, Dacheng Tao외 3명|arXiv (Cornell University)|2015. 02. 09.

Tensor decomposition and applications참고 문헌 2인용 수 4

한 줄 요약

이 논문은 고차원 상관관계를 공 covariance 텐서를 통해 모델링함으로써 임의의 수의 뷰를 다룰 수 있도록 고전적 공분산 분석을 일반화한 텐서 캐논리컬 상관계수 분석(TCCA)을 제안한다. 다중 뷰 상관계수 최대화 문제를 랭크-1 텐서 근사 문제로 재구성함으로써 TCCA는 교차 최소제곱(ALS) 알고리즘을 활용해 복잡한 다중 뷰 간 의존성을 효율적으로 포착하며, 생체정보 예측, 광고 분류, 이미지 주석 달기와 같은 다중 뷰 차원 축소 작업에서 향상된 성능을 보인다.

ABSTRACT

Canonical correlation analysis (CCA) has proven an effective tool for two-view dimension reduction due to its profound theoretical foundation and success in practical applications. In respect of multi-view learning, however, it is limited by its capability of only handling data represented by two-view features, while in many real-world applications, the number of views is frequently many more. Although the ad hoc way of simultaneously exploring all possible pairs of features can numerically deal with multi-view data, it ignores the high order statistics (correlation information) which can only be discovered by simultaneously exploring all features. Therefore, in this work, we develop tensor CCA (TCCA) which straightforwardly yet naturally generalizes CCA to handle the data of an arbitrary number of views by analyzing the covariance tensor of the different views. TCCA aims to directly maximize the canonical correlation of multiple (more than two) views. Crucially, we prove that the multi-view canonical correlation maximization problem is equivalent to finding the best rank-1 approximation of the data covariance tensor, which can be solved efficiently using the well-known alternating least squares (ALS) algorithm. As a consequence, the high order correlation information contained in the different views is explored and thus a more reliable common subspace shared by all features can be obtained. In addition, a non-linear extension of TCCA is presented. Experiments on various challenge tasks, including large scale biometric structure prediction, internet advertisement classification and web image annotation, demonstrate the effectiveness of the proposed method.

연구 동기 및 목표

• 기존 CCA가 두 뷰 데이터에 국한되어 있어 다수의 특징 소스를 가진 다중 뷰 학습 시나리오를 다루는 데에 한계가 있음을 해결한다.
• 기존 다중 뷰 확장에서의 이변수 상관계수 최대화 기법이 모든 뷰 간 고차원 통계적 의존성을 忽略한다는 점을 보완한다.
• 공동 공분산 구조를 텐서로 모델링함으로써 다중 뷰 간의 캐논리컬 상관계수를 직접 최대화하는 원칙적인 프레임워크를 개발한다.
• 다중 뷰 상관계수 최대화 문제를 저랭크 텐서 근사 문제로 환원함으로써 최적의 공통 부분공간을 효율적으로 계산할 수 있도록 한다.
• 데이터를 재생핵 힐버트 공간에 매핑함으로써 비선형 설정으로의 확장을 통해 고차원 및 자료가 제한된 시나리오에서의 성능 향상을 도모한다.

제안 방법

• 모든 뷰의 공분산 텐서를 사용하여 다중 뷰 차원 축소 문제를 텐서 기반 캐논리컬 상관계수 최대화 문제로 재구성한다.
• 다중 뷰 상관계수 최대화가 데이터 공분산 텐서의 최적 랭크-1 근사 문제를 찾는 것과 수학적으로 동치임을 증명한다.
• 교차 최소제곱(ALS) 알고리즘을 활용하여 랭크-1 텐서 근사 문제를 효율적으로 해결함으로써 확장성과 수렴성을 보장한다.
• 데이터를 재생핵 힐버트 공간에 매핑함으로써 뷰 간 비선형 관계를 모델링할 수 있도록 TCCA의 커널 버전을 도입한다.
• 텐서-행렬 곱셈과 모드 곱셈을 활용하여 캐논리컬 상관계수를 뷰별 가중치 벡터를 포함하는 다중선형 형태로 표현한다.
• 공분산 텐서의 구조를 활용하고 ALS를 통한 반복 최적화를 통해 계산 효율성을 확보함으로써 대규모 데이터셋에 적합한 성능을 제공한다.

실험 결과

연구 질문

• RQ1 두 뷰 초과의 상황을 다룰 수 있도록 기존 CCA의 원칙적인 확장을 개발할 수 있는가, 이는 캐논리컬 상관계수의 이론적 기반을 유지할 수 있는가?
• RQ2 모든 뷰 간의 이변수 상관계수를 넘는 고차원 상관관계를 모델링함으로써, 다중 뷰 데이터에 대해 더 견고하고 정보가 풍부한 공통 부분공간을 확보할 수 있는가?
• RQ3 다중 뷰 상관계수 최대화 문제를 저랭크 텐서 근사 문제로 재구성할 수 있으며, 만약 그렇다면 효율적으로 해결할 수 있는가?
• RQ4 실제 다중 뷰 학습 작업에서 TCCA는 기존의 이변수 CCA 확장 기법보다 성능이 뛰어나게 되는가?
• RQ5 비선형 커널화된 TCCA의 성능 향상 정도는 고차원 또는 자료가 부족한 데이터 세트에서 얼마나 높은가?

주요 결과

• TCCA는 생체정보 구조 예측, 인터넷 광고 분류, 웹 이미지 주석 달기 등의 작업에서 이변수 방법이 간과하는 고차원 상관관계를 포착함으로써 다중 뷰 차원 축소에서 뛰어난 성능을 보였다.
• 특히 뷰의 수가 두 개를 초과할 경우, 분류 정확도와 부분공간 품질 측면에서 이변수 CCA 확장 기법보다 뚜렷이 뛰어난 성능을 기록했다.
• SecStr 데이터셋에 대한 실증 결과는 TCCA가 공통 부분공간 차원이 증가함에 따라 낮은 계산 비용과 메모리 사용량을 유지함을 보여주어 확장성을 입증했다.
• NUS-WIDE 유전자 서브셋에서 한 개 개념당 단 6개의 레이블링 샘플 뿐이 존재하는 상황에서도 TCCA는 뛰어난 성능을 기록하여 자료가 부족한 환경에서도 견고함을 입증했다.
• 비선형 확장된 TCCA는 고차원 데이터에서 성능을 더욱 향상시키며, 특히 커널 방법과 조합할 경우 비선형 모델링의 가치가 다중 뷰 학습에서 뚜렷하게 드러났다.
• 이론적 분석을 통해 다중 뷰 상관계수 최대화 문제와 랭크-1 텐서 근사 문제 간의 동치성을 확인하였으며, 이는 방법의 수학적 기반을 검증하고 ALS를 통한 효율적 최적화를 가능하게 했다.