[논문 리뷰] A Comparison of Relaxations of Multiset Cannonical Correlation Analysis and Applications

Jan Rupnik, Primož Škraba외 2명|arXiv (Cornell University)|2013. 02. 05.

Blind Source Separation Techniques참고 문헌 22인용 수 16

한 줄 요약

이 논문은 비볼록 QCQP 문제로 알려진 다중집합 코인디케이션 분석(MCCA)에 대한 정수형 프로그래밍(SDP) 근사를 제안한다. 이 문제는 NP-난이도로 알려져 있다. 국소 최적화 방법은 실무에서 잘 작동하지만, SDP 근사는 전역적으로 유효한 상한과 근사 보장을 제공하며, 합성 데이터와 실제 응용 사례(고차원 투영에서 안정적인 성능을 보이는 다국어 텍스트 마이닝 포함)에서 검증되었다.

ABSTRACT

Canonical correlation analysis is a statistical technique that is used to find relations between two sets of variables. An important extension in pattern analysis is to consider more than two sets of variables. This problem can be expressed as a quadratically constrained quadratic program (QCQP), commonly referred to Multi-set Canonical Correlation Analysis (MCCA). This is a non-convex problem and so greedy algorithms converge to local optima without any guarantees on global optimality. In this paper, we show that despite being highly structured, finding the optimal solution is NP-Hard. This motivates our relaxation of the QCQP to a semidefinite program (SDP). The SDP is convex, can be solved reasonably efficiently and comes with both absolute and output-sensitive approximation quality. In addition to theoretical guarantees, we do an extensive comparison of the QCQP method and the SDP relaxation on a variety of synthetic and real world data. Finally, we present two useful extensions: we incorporate kernel methods and computing multiple sets of canonical vectors.

연구 동기 및 목표

• 국소 최적화에서 MCCA의 전역 최적성 보장을 확보하지 못하는 문제를 해결하기 위해.
• 비록 구조화된 형식을 지녔지만 MCCA가 NP-난이도임을 입증하기 위해.
• 절대적 및 출력 민감도 근사 보장을 제공하는 확장 가능한 SDP 근사를 개발하기 위해.
• 실제 응용을 위해 커널 기반 및 다차원 코인디케이션 벡터 계산으로 방법을 확장하기 위해.
• 합성 데이터와 실제 다국어 텍스트 마이닝 응용 사례에서 방법을 검증하기 위해.

제안 방법

• 다양한 데이터 세트 간의 상관관계 합계를 최대화하는 방식으로 MCCA를 이차제약이 있는 이차계획문제(QCQP)로 공식화하기.
• MCCA 문제의 NP-난이도를 증명하여, 근사 기법의 필요성을 정당화하기.
• QCQP를 볼록 정수형 프로그래밍(SDP)으로 근사하여 전역 상한과 근사 보장을 가능하게 하기.
• 고차원 데이터(예: 텍스트)에 대한 SDP 적용을 가능하게 하기 위해 랜덤 투영을 사용한 사전처리 단계 도입하기.
• 비선형 관계를 위해 커널 MCCA로 방법을 확장하고, 각 시각에서 다수의 코인디케이션 벡터를 계산하기.
• SDP 근사를 사용해 해의 품질을 검증하고, 재초기화를 통한 국소 최적화를 이끌기.

실험 결과

연구 질문

• RQ1 구조화된 형식을 지녔음에도 불구하고 다중집합 코인디케이션 분석(MCCA)은 NP-난이도인가?
• RQ2 정수형 프로그래밍(SDP) 근사는 MCCA 해에 대해 신뢰할 수 있는 전역 상한과 근사 보장을 제공할 수 있는가?
• RQ3 해의 품질과 안정성 측면에서 국소 최적화(예: Horst 알고리즘)는 SDP 근사와 어떻게 비교되는가?
• RQ4 랜덤 투영을 통한 차원 축소는 대규모 데이터에서 날카운 SDP 상한 계산 능력을 유지하는가?
• RQ5 국소 알고리즘이 근사 최적해를 찾지 못하는 경우는 어떤 설정에서 발생하며, SDP가 이러한 경우를 식별하거나 수정하는 데 도움이 되는가?

주요 결과

• MCCA 문제의 NP-난이도를 확인함으로써 일반적인 경우에서 전역 최적해를 찾는 것이 이론적으로 불가능함을 입증한다.
• 합성 데이터에서는 국소 최적화 방법이 종종 전역 상한과 큰 격차를 보이는 부분최적해로 수렴하는 경향이 있으며, 특히 저차원에서 두드러진다.
• 고차원에서는 국소 방법이 잘 작동하고 SDP 근사의 이중성 갭이 작아 안정된 상한을 제공함을 확인한다.
• 5개의 EuroParl 언어에 대한 다국어 텍스트 마이닝에서, 랜덤 투영 벡터의 정규화(γ=0.9)로 인해 훈련 및 테스트 세트에서 안정적인 성능을 기록했으며, 테스트 상관관계 합계는 9.6에 도달했다.
• SDP 근사는 차원을 축소한 데이터에서 국소 알고리즘과 일치하는 결과를 지속적으로 생성했으며, 문제의 조건이 양호한 경우 국소 해가 일반적으로 전역적으로 근사 최적임을 시사한다.
• 랜덤 투영 사전처리와 SDP 근사의 조합은 고차원 텍스트 데이터에서 경계를 효과적으로 활용할 수 있게 해주었으며, 메모리 제약을 극복했다.