[논문 리뷰] Linear Dimensionality Reduction: Survey, Insights, and Generalizations

John P. Cunningham, Zoubin Ghahramani|arXiv (Cornell University)|2014. 06. 03.

Face and Expression Recognition참고 문헌 123인용 수 382

한 줄 요약

이 논문은 행렬 다양체 위에서의 최적화 프레임워크를 통해 다양한 선형 차원 축소 방법—예를 들어 PCA, LDA, CCA, SFA—를 통합하며, 이러한 고전적 방법들이 고유벡터 문제로 재구성될 경우 많은 경우에 최적해가 아님을 드러낸다. 이는 선형 차원 축소를 위한 일반적이고 목적 함수에 종속되지 않는 해법을 제안하며, 기존 기법들을 일반화하고, 직교 투영 CCA와 같은 새로운 변형을 가능하게 한다.

ABSTRACT

Linear dimensionality reduction methods are a cornerstone of analyzing high dimensional data, due to their simple geometric interpretations and typically attractive computational properties. These methods capture many data features of interest, such as covariance, dynamical structure, correlation between data sets, input-output relationships, and margin between data classes. Methods have been developed with a variety of names and motivations in many fields, and perhaps as a result the connections between all these methods have not been highlighted. Here we survey methods from this disparate literature as optimization programs over matrix manifolds. We discuss principal component analysis, factor analysis, linear multidimensional scaling, Fisher's linear discriminant analysis, canonical correlations analysis, maximum autocorrelation factors, slow feature analysis, sufficient dimensionality reduction, undercomplete independent component analysis, linear regression, distance metric learning, and more. This optimization framework gives insight to some rarely discussed shortcomings of well-known methods, such as the suboptimality of certain eigenvector solutions. Modern techniques for optimization over matrix manifolds enable a generic linear dimensionality reduction solver, which accepts as input data and an objective to be optimized, and returns, as output, an optimal low-dimensional projection of the data. This simple optimization framework further allows straightforward generalizations and novel variants of classical methods, which we demonstrate here by creating an orthogonal-projection canonical correlations analysis. More broadly, this survey and generic solver suggest that linear dimensionality reduction can move toward becoming a blackbox, objective-agnostic numerical technology.

연구 동기 및 목표

• 통계, 기계학습, 신호 처리 분야에 걸쳐 널리 쓰이는 선형 차원 축소 방법들을 하나의 최적화 프레임워크로 통합하는 것.
• PCA 및 CCA와 같은 잘 알려진 방법들에서 고유벡터 기반 해법이 일반적으로 최적이라고 여겨지지만, 실제로는 비최적임을 드러내고 분석하는 것.
• 첫 번째 주성분을 선택한 후 잔차에 대해 제2의 성분을 순차적으로 최적화하는 그리디한 성분 선택 방식이 선형 차원 축소에서 성능에 본질적인 한계를 가짐을 보여주는 것.
• 행렬 다용체 위에서의 최적화를 기반으로, 일반적이고 목적 함수에 종속되지 않는 선형 차원 축소 해법을 개발하는 것.
• 제안된 프레임워크를 통해 고전적 방법의 직관적 일반화 및 새로운 변형을 쉽게 도출할 수 있도록 하는 것.

제안 방법

• 특히 정규직교 행렬의 스티펠 다용체와 부분공간의 그라스만 다용체를 포함한 행렬 다용체 위에서의 최적화 프로그램으로 선형 차원 축소를 수식화하는 것.
• 각 방법(예: PCA, LDA, CCA)을 스티펠 다용체 위에서 최대화 또는 최소화해야 할 특정 목적 함수로 표현하는 것.
• 반복값이 다용체 위에 유지되도록 투영된 경사하강법과 재접속(리트랙션)을 사용하며, 효율적인 재접속을 위해 특이값 분해(SVD)를 활용하는 것.
• 두 단계의 경사하강 업데이트를 사용: 먼저 자유 경사를 탄성 공간에 투영한 후, 단계를 다시 다용체로 재접속하는 것.
• 선형 탐색과 공액 기울기와 같은 표준 최적화 기법들을 다용체 환경에 적응시켜 비볼록 문제에 대한 수렴 보장을 가능하게 하는 것.
• 새로운 변형인 직교 투영 캐논컬 상관 분석(orthogonal-projection CCA)을 유도함으로써 프레임워크의 일반성을 입증하는 것.

실험 결과

연구 질문

• RQ1 PCA 및 CCA와 같은 많은 고전적 선형 차원 축소 방법들이 고유벡터 문제로 재구성될 경우, 왜 비최적임이 드러나는가?
• RQ2 잔차에 대해 성분을 순차적으로 최적화하는 그리디한 접근 방식(예: 첫 번째 주성분, 그 후 잔차에 대해 제2의 성분)이 선형 차원 축소에서 성능에 얼마나 큰 제약을 가하는가?
• RQ3 행렬 다용체 위에서의 통합 최적화 프레임워크가 기존의 선형 차원 축소 기법들을 일반화하고 향상시킬 수 있는가?
• RQ4 스티펠 다용체, 그라스만 다용체와 같은 다용체의 기하학적 구조는 더 강력하고 민첩한 해법 설계에 어떻게 활용될 수 있는가?
• RQ5 이 프레임워크를 통해 유도할 수 있는 고전적 방법의 새로운 변형은 무엇이며, 기존 접근 방식과 비교해 어떻게 성능이 뛰어나게 되는가?

주요 결과

• PCA 및 CCA와 같은 널리 사용되는 선형 차원 축소 방법들은 고유벡터 분해를 통해 해결될 경우, 일반적으로 최적이라고 여겨지지만 실제로는 비최적임이 드러남.
• 잔차에 대해 성분을 순차적으로 최적화하는 그리디 접근 방식은 전체 최적해를 포착하지 못함을 확인함. 이는 모든 성분을 동시에 최적화할 수 있는 프레임워크의 능력으로 입증됨.
• 행렬 다용체 위에서의 최적화는 PCA, LDA, CCA, SFA, ICA를 포함한 기존 방법들을 수반하고 일반화하는 통합적이고 기하학적으로 타당한 프레임워크를 제공함.
• 투영된 경사하강법과 재접속을 기반으로 한 제안된 일반적 해법은 신뢰성 있게 수렴하며, 실무에서 단단한 투영 방법보다 뛰어난 성능을 보임.
• 프레임워크를 통해 직교성 조건을 유지하는 직교 투영 CCA와 같은 새로운 변형을 도출할 수 있으며, 이는 해석 가능성을 향상시킴.
• Armijo 선형 탐색과 같은 표준 최적화 도구를 사용해 이론적 수렴성을 확립하였으며, 비볼록 다용체 위에서의 투영 경사하강법에 대해 전역 수렴이 증명됨.