[논문 리뷰] Unifying linear dimensionality reduction

John P. Cunningham, Zoubin Ghahramani|arXiv (Cornell University)|2014. 06. 03.

Face and Expression Recognition참고 문헌 111인용 수 12

한 줄 요약

이 논문은 PCA, LDA, CCA, ICA 등 다양한 선형 차원 축소 방법들을 행렬 다양체 위의 최적화 프레임워크로 통합한다. 이러한 방법들을 최적화 문제로 재구성함으로써, 기존 고유벡터 기반 해법의 숨겨진 한계를 드러내고, 다양한 데이터와 목표 함수에 적용 가능한 일반적이고 목표 함수에 종속되지 않는 솔버를 가능하게 하여, 수직 투영 CCA와 같은 새로운 변형을 가능하게 한다.

ABSTRACT

Linear dimensionality reduction methods are a cornerstone of analyzing high dimensional data, due to their simple geometric interpretations and typically attractive computational prop-erties. These methods capture many data features of interest, such as covariance, dynamical structure, correlation between data sets, input-output relationships, and margin between data classes. Methods have been developed with a variety of names and motivations in many fields, and perhaps as a result the deeper connections between all these methods have not been un-derstood. Here we unify methods from this disparate literature as optimization programs over matrix manifolds. We discuss principal component analysis, factor analysis, linear multidimen-sional scaling, Fisher’s linear discriminant analysis, canonical correlations analysis, maximum autocorrelation factors, slow feature analysis, undercomplete independent component analysis, linear regression, and more. This optimization framework helps elucidate some rarely discussed shortcomings of well-known methods, such as the suboptimality of certain eigenvector solutions. Modern techniques for optimization over matrix manifolds enable a generic linear dimensionality reduction solver, which accepts as input data and an objective to be optimized, and returns, as output, an optimal low-dimensional projection of the data. This optimization framework further allows rapid development of novel variants of classical methods, which we demonstrate here by creating an orthogonal-projection canonical correlations analysis. More broadly, we suggest that our generic linear dimensionality reduction solver can move linear dimensionality reduction toward becoming a blackbox, objective-agnostic numerical technology. 1

연구 동기 및 목표

• 다양한 분야에서 사용되는 선형 차원 축소 방법들을 단일 통합 수학적 프레임워크로 통합하기.
• 기존의 고유벡터 기반 해법에서 흔히 간과되는 단점, 예를 들어 최적해가 아닌 해를 도출하는 문제점을 식별하고 명확히 하기.
• 모든 데이터와 목표 함수에 적용 가능한 일반적이고 목표 함수에 종속되지 않는 선형 차원 축소 솔버를 개발하기.
• 제안된 최적화 프레임워크를 통해 고전적 방법의 새로운 변형을 신속하게 프로토타이핑할 수 있도록 하기.
• 선형 차원 축소를 최적화 솔버와 유사한 블랙박스 수치 기술로 위치시키기.

제안 방법

• 행렬 다양체, 특히 스티펠(manifold)과 그라스만(manifold) 다양체 위에서 선형 차원 축소를 최적화 문제로 재정의하기.
• 각 방법(예: PCA, LDA, CCA)을 정규화 조건 하에서 최대화 또는 최소화할 특정 목적 함수로 표현하기.
• 리만 타임리그, 공액 기울기 방법 등 현대적 행렬 다양체 최적화 기법 활용하기.
• 동일한 일반적 솔버 아키텍처를 사용해 다양한 목적 함수를 처리함으로써, 방법에 따라 구현 세부 사항을 추상화하기.
• 목적 함수를 수정함으로써 새로운 변형을 도출하기, 예를 들어 캐논리컬 상관계수 분석에 수직성 조건을 도입하기.
• 최적화 영역의 기하학적 구조를 활용해 수치적 안정성과 수렴성을 확보하기.

실험 결과

연구 질문

• RQ1 널리 사용되는 선형 차원 축소 방법들이 어떻게 단일 수학적 프레임워크로 통합될 수 있는가?
• RQ2 PCA, CCA와 같은 고전적 방법에서 일반적으로 사용되는 고유벡터 기반 해법의 내재된 한계는 무엇인가?
• RQ3 모든 선형 차원 축소 목표 함수를 처리할 수 있는 일반적이고 목표 함수에 종속되지 않는 솔버를 설계할 수 있는가?
• RQ4 최적화 프레임워크를 통해 고전적 방법의 새로운 개선형 변형을 얼마나 효과적으로 창출할 수 있는가?
• RQ5 행렬 다양체 최적화 접근법은 선형 차원 축소의 안정성과 해석 가능성에 어떤 영향을 미치는가?

주요 결과

• 제안된 프레임워크는 PCA, LDA, CCA, ICA 등 10개 이상의 고전적 선형 차원 축소 방법을 단일 최적화 공식화로 통합한다.
• 프레임워크는 특정하게 널리 사용되는 고유벡터 기반 해법이, 특히 수직성 조건이 제대로 반영되지 않을 경우 최적해가 아님을 드러낸다.
• 사용자 정의 목적 함수를 처리할 수 있는 일반적이고 목표 함수에 종속되지 않는 선형 차원 축소 솔버가 성공적으로 구현되었다.
• 수직 투영 캐논리컬 상관계수 분석이라는 새로운 변형이 개발되었으며, 이는 투영 행렬에 수직성 조건을 도입함으로써 기존 CCA를 향상시킨다.
• 현대적 행렬 다양체 최적화 기법은 다양한 목적 함수에 걸쳐 신뢰할 수 있는 수렴성과 수치적 안정성을 보장한다.
• 목적 함수만 변경함으로써 새로운 방법의 신속한 프로토타이핑이 가능해져 개발 시간을 단축시키고 방법론의 유연성을 높인다.