[논문 리뷰] Doubly Accelerated Methods for Faster CCA and Generalized Eigendecomposition

Zeyuan Allen-Zhu, Yuanzhi Li|arXiv (Cornell University)|2016. 07. 20.

Blind Source Separation Techniques인용 수 32

한 줄 요약

이 논문은 k-일반화 고유분해(k-GenEV)와 k-주요상관분석(k-CCA)을 위한 이중 가속 알고리즘인 LazyEV와 LazyCCA를 제안한다. 이 알고리즘들은 조건수(√κ)와 고유값 갭(1/√gap)에 대해 선형으로 스케일링되며, 갭 없는 설정에서는 1/√ε에 비례한다. 방법론은 가속된 확률적 분산 감소와 암묵적 헤시안 근사화를 결합하여 이전 작업보다 더 빠른 수렴을 달성하면서도 입력 크기와 k에 대해 선형 의존성을 유지한다.

ABSTRACT

We study $k$-GenEV, the problem of finding the top $k$ generalized eigenvectors, and $k$-CCA, the problem of finding the top $k$ vectors in canonical-correlation analysis. We propose algorithms $\\mathtt{LazyEV}$ and $\\mathtt{LazyCCA}$ to solve the two problems with running times linearly dependent on the input size and on $k$. Furthermore, our algorithms are DOUBLY-ACCELERATED: our running times depend only on the square root of the matrix condition number, and on the square root of the eigengap. This is the first such result for both $k$-GenEV or $k$-CCA. We also provide the first gap-free results, which provide running times that depend on $1/\\sqrt{\\varepsilon}$ rather than the eigengap.

연구 동기 및 목표

• 조건수(κ)와 고유값 갭(gap)에 대해 선형적으로 스케일링되며, 증명 가능하게 효율적인 k-GenEV 및 k-CCA 알고리즘이 부족한 문제를 해결하기 위해.
• k-GenEV 및 k-CCA에 대해 이중 가속화된 최초의 방법을 개발하여, 실행 시간이 √κ 및 1/√gap에 선형적으로 의존하도록 하기 위해.
• 이러한 문제들에 대해 갭 없는 결과를 최초로 제공하여, 수렴 속도가 1/√gap가 아닌 1/√ε에 의존하도록 하기 위해.
• 가속된 확률적 방법을 k-CCA 및 k-GenEV로 확장하여, 비가속화된 대응 방법보다 느리지 않은 성능을 달성하기 위해.

제안 방법

• k-GenEV 및 k-CCA 문제를 해결하기 위해 가속된 확률적 분산 감소 경사(Stochastic Variance Reduced Gradient, SVRG) 방법에 기반한 LazyEV 및 LazyCCA 알고리즘을 제안한다.
• A와 B의 직접 계산을 피하기 위해 행렬 이동(λB - A)을 통한 암묵적 헤시안 근사화를 사용하여 효율적인 헤시안-벡터 곱을 가능하게 한다.
• 각 fi(z)가 CCA 또는 GenEV 부분 문제를 표현하는 비볼록 목적함수 f(z) = (1/n)∑fi(z)의 최소화에 가속된 SVRG를 적용한다.
• 기존에 발견된 벡터에 대한 투영을 통한 정규직교 조건을 유지하면서, 상위 k개의 벡터를 순차적으로 계산하기 위해 재귀적 정규화 전략을 적용한다.
• 강한 볼록성 매개변수를 σkδλmin(B)/48로 표현함으로써 가속화를 가능하게 하는 새로운 분석 프레임워크를 도입한다.
• k-GenEV에 대해 eO(knnz(B)√κ/√gap + knnz(A) + k²d/√gap) 및 k-CCA에 대해 eO(knnz(X,Y)(1+√κ′/n) + k²d/√gap)로 실행 시간을 유도하며, 갭 없는 변형은 갭 대신 ε을 사용한다.

실험 결과

연구 질문

• RQ1 조건수 κ와 고유값 갭(gap)에 대해 실행 시간이 κ와 1/gap에 선형적으로 의존하는 대신, √κ와 1/√gap에만 의존하는 k-GenEV 알고리즘을 설계할 수 있는가?
• RQ2 k-GenEV 및 k-CCA에 대해 갭 없는 수렴을 달성할 수 있는가? 이 경우 실행 시간이 1/√gap가 아닌 1/√ε에 의존하도록 할 수 있는가?
• RQ3 이중 가속화 방법을 확률적 설정으로 확장할 수 있는가? 이 경우 실행 시간이 √κ 대신 (1+√κ′/n)에 의존하도록 할 수 있는가? 여기서 κ′은 행렬 정규화된 조건수이다.
• RQ4 비가속화 또는 비확률적 방법보다 느리지 않은 방식으로 일반화 고유분해 및 CCA 문제를 다루면서도 가속화를 유지할 수 있는가?

주요 결과

• 제안된 LazyEV 알고리즘은 k-GenEV에 대해 eO(knnz(B)√κ/√gap + knnz(A) + k²d/√gap)의 실행 시간을 달성하며, √κ 및 1/√gap에 대해 이중 가속화된 의존성을 가지며.
• k-CCA에 대해 LazyCCA는 eO(knnz(X,Y)(1+√κ′/n) + k²d/√gap)의 시간 복잡도를 가지며, 동일한 이중 가속화 스케일링과 확률적 효율성을 제공한다.
• 이 알고리즘들은 k-GenEV 및 k-CCA에 대해 갭 없는 결과를 최초로 제공하며, 실행 시간이 각각 eO(knnz(B)√κ/√ε + knnz(A) + k²d/√ε) 및 eO(knnz(X,Y)(1+√κ′/n) + k²d/√ε)로 스케일링된다.
• 분석을 통해 목적함수의 헤시안이 최소 σkδλmin(B)/48의 강한 볼록성 매개변수를 가지며, 이는 SVRG를 통한 가속화를 가능하게 한다.
• 실행 시간은 비가속화 또는 비확률적 방법보다 느리지 않으며, (1+√κ′/n) ≤ O(√κ)이므로 항상 확률적 가속화가 유리함을 보장한다.
• 이 알고리즘들은 k-GenEV 및 k-CCA에 대해 이중 가속화 및 갭 없는 수렴을 동시에 달성하는 최초의 방법으로, 이 분야에서 오랫동안 남아있던 열린 문제를 해결한다.