[논문 리뷰] Efficient Algorithms for Large-scale Generalized Eigenvector Computation and Canonical Correlation Analysis

Rong Ge, Chi Jin외 3명|arXiv (Cornell University)|2016. 04. 13.

Sparse and Compressive Sensing Techniques참고 문헌 26인용 수 40

한 줄 요약

이 논문은 대규모 캐논컬 코herence 분석(CCA) 및 일반화 고유벡터 문제를 위한 전역적으로 선형 수렴하는 반복 알고리즘을 제안한다. CCA는 최상위 k개의 일반화 고유벡터 문제로 환원되며, 가속화된 경사하강법을 통한 빠른 선형 시스템 해법기를 활용한다. 이 방법은 $ O\big(\frac{zk\tilde{\kappa}}{\rho}\big) $의 런타임을 달성하며, 여기서 $ z $는 비제로 원소의 수, $ \tilde{\kappa} $는 조건수, $ \rho $는 고유값 갭이다. 이는 입력 크기에 대해 거의 선형적 의존성을 가지며, 이러한 문제들에 대해 증명 가능하게 선형 수렴하는 최초의 알고리즘이다.

ABSTRACT

This paper considers the problem of canonical-correlation analysis (CCA) (Hotelling, 1936) and, more broadly, the generalized eigenvector problem for a pair of symmetric matrices. These are two fundamental problems in data analysis and scientific computing with numerous applications in machine learning and statistics (Shi and Malik, 2000; Hardoon et al., 2004; Witten et al., 2009). We provide simple iterative algorithms, with improved runtimes, for solving these problems that are globally linearly convergent with moderate dependencies on the condition numbers and eigenvalue gaps of the matrices involved. We obtain our results by reducing CCA to the top-$k$ generalized eigenvector problem. We solve this problem through a general framework that simply requires black box access to an approximate linear system solver. Instantiating this framework with accelerated gradient descent we obtain a running time of $O(\\frac{z k \\sqrt{\\kappa}}{\ ho} \\log(1/\\epsilon) \\log \\left(k\\kappa/\ ho\ ight))$ where $z$ is the total number of nonzero entries, $\\kappa$ is the condition number and $\ ho$ is the relative eigenvalue gap of the appropriate matrices. Our algorithm is linear in the input size and the number of components $k$ up to a $\\log(k)$ factor. This is essential for handling large-scale matrices that appear in practice. To the best of our knowledge this is the first such algorithm with global linear convergence. We hope that our results prompt further research and ultimately improve the practical running time for performing these important data analysis procedures on large data sets.

연구 동기 및 목표

• 대규모 환경에서 캐논컬 코herence 분석(CCA) 및 일반화 고유벡터 문제를 위한 효율적이고 확장 가능한 알고리즘을 개발한다.
• 대규모 데이터셋에서 계산적으로 금기인 $ \mathbf{S}_{xx}^{-1/2} $와 같은 역공분산 행렬의 형성 필요성을 제거한다.
• 조건수와 고유값 갭에 대한 향상된 런타임 의존성과 함께 전역 선형 수렴을 달성한다.
• 빠른 선형 시스템 해법기와 반복 방법을 통합하는 일반적인 프레임워크를 제공한다.
• MNIST 및 URL 신뢰도 데이터를 포함한 소규모 및 대규모 데이터셋에서 알고리즘의 성능을 실증적으로 검증한다.

제안 방법

• 공분산 행렬의 변환을 통해 CCA를 최상위 k개의 일반화 고유벡터 문제로 환원한다.
• 근사 선형 시스템 해법기의 블랙박스 액세스만 요구하는 일반적인 알고리즘 프레임워크를 사용한다.
• 선형 시스템을 효율적으로 해결하기 위해 가속화된 경사하강법을 프레임워크에 적용한다.
• 대규모 환경에서 희소성과 미니배치 처리를 활용하여 계산 효율성을 유지한다.
• 반복값과 진짜 캐논컬 공간 사이의 주요 각도 $ \theta_{\mathbf{B}} $를 통한 수렴을 정의하여 $ \sin \theta_{\mathbf{B}} $의 단조 감소를 보장한다.
• 실제로는 $ \mathbf{S}_{xx} $와 $ \mathbf{S}_{yy} $에 $ \lambda \mathbf{I} $를 더하여 조건수가 나쁜 행렬을 정규화한다.

실험 결과

연구 질문

• RQ1 명시적인 행렬 역행산을 피하면서도 증명 가능하게 전역적으로 선형 수렴하는 CCA 및 일반화 고유벡터 문제를 위한 알고리즘을 설계할 수 있는가?
• RQ2 대규모 문제에서 컴ponent 수 $ k $, 조건수 $ \kappa $, 고유값 갭 $ \rho $에 대한 최적의 런타임 의존성은 무엇인가?
• RQ3 비제로 원소 수 $ z $와 $ k $에 대해 거의 선형 시간 복잡도를 달성하면서도 선형 수렴을 유지할 수 있는가?
• RQ4 기존의 일회성 및 반복적 방법과 비교하여, 대규모 데이터셋에서 수렴 속도와 정확도 측면에서 제안된 방법은 어떻게 성능을 내는가?
• RQ5 URL 신뢰도 및 펜 트리뱅크 데이터셋과 같은 희소하고 고차원적인 데이터에서 알고리즘이 실용적으로 효과적인가?

주요 결과

• 제안된 알고리즘은 $ O\big(\frac{zk\sqrt{\kappa}}{\rho}\log(1/\epsilon)\log(k\kappa/\rho)\big) $의 런타임을 달성하며, $ z $와 $ k $에 대해 거의 선형적 의존성을 가지며, 전통적인 SVD 기반 방법에 비해 상당한 향상이 있다.
• 알고리즘은 전역 선형 수렴을 보이며, MNIST 및 PTB 데이터셋에서 실증적으로 확인된 lin에 따라 $ \sin \theta_{\mathbf{B}} $가 반복 과정에서 선형적으로 감소한다.
• MNIST 데이터셋에서 알고리즘은 진짜 캐논컬 공간으로 단조롭게 수렴하며, PCC는 1에 가까워지고 모든 각도 $ \theta_x, \theta_y, \theta_{\mathbf{B}} $는 0에 수렴한다.
• 대규모 URL 신뢰도 데이터셋에서 CCALin은 동일한 TCC 정확도를 달성하기 위해 S-AppGrad, PCA-CCA, NW-CCA, DW-CCA보다 계산 효율성이 뛰어나다.
• 초기에는 $ \theta_x $와 $ \theta_y $가 $ \theta_{\mathbf{B}} $를 따라가지 못할 수 있지만, 알고리즘은 여전히 $ \sin \theta_{\mathbf{B}} $와 같은 최소 속도로 수렴한다.
• 실증 결과는 알고리즘이 $ k \ll n $일 때 특히 대규모 문제에 실용적임을 확인하며, 조건수와 고유값 갭이 중간 정도일 경우에도 선형 수렴을 유지한다.