[논문 리뷰] Robust Shift-and-Invert Preconditioning: Faster and More Sample Efficient Algorithms for Eigenvector Computation

Chi Jin, Sham M. Kakade외 3명|arXiv (Cornell University)|2015. 10. 29.

Stochastic Gradient Optimization Techniques참고 문헌 20인용 수 16

한 줄 요약

이 논문은 안정적 랭크와 고유값 갭에 대한 종속성을 분리하고, 분산 감소 기반 경사하강법을 사용하여 선형 시스템을 해결하는 방식으로 고유벡터 계산을 선형 시스템 문제로 환원함으로써, 고유벡터 계산을 더 빠르고 표본 효율적으로 수행하는 알고리즘을 제안한다. 일반 조건 하에서 점근적으로 최적의 런타임 및 표본 복잡도를 달성한다.

ABSTRACT

We provide faster algorithms and improved sample complexities for approximating the top eigenvector of a matrix. Offline Setting: Given an $n imes d$ matrix $A$, we show how to compute an $ε$ approximate top eigenvector in time $ ilde O ( [nnz(A) + \frac{d \cdot sr(A)}{gap^2}]\cdot \log 1/ε)$ and $ ilde O([\frac{nnz(A)^{3/4} (d \cdot sr(A))^{1/4}}{\sqrt{gap}}]\cdot \log1/ε)$. Here $sr(A)$ is the stable rank and $gap$ is the multiplicative eigenvalue gap. By separating the $gap$ dependence from $nnz(A)$ we improve on the classic power and Lanczos methods. We also improve prior work using fast subspace embeddings and stochastic optimization, giving significantly improved dependencies on $sr(A)$ and $ε$. Our second running time improves this further when $nnz(A) \le \frac{d\cdot sr(A)}{gap^2}$. Online Setting: Given a distribution $D$ with covariance matrix $Σ$ and a vector $x_0$ which is an $O(gap)$ approximate top eigenvector for $Σ$, we show how to refine to an $ε$ approximation using $ ilde O(\frac{v(D)}{gap^2} + \frac{v(D)}{gap \cdot ε})$ samples from $D$. Here $v(D)$ is a natural variance measure. Combining our algorithm with previous work to initialize $x_0$, we obtain a number of improved sample complexity and runtime results. For general distributions, we achieve asymptotically optimal accuracy as a function of sample size as the number of samples grows large. Our results center around a robust analysis of the classic method of shift-and-invert preconditioning to reduce eigenvector computation to approximately solving a sequence of linear systems. We then apply fast SVRG based approximate system solvers to achieve our claims. We believe our results suggest the general effectiveness of shift-and-invert based approaches and imply that further computational gains may be reaped in practice.

연구 동기 및 목표

• 특히 고유값 갭이 작을 경우 기존의 파워 방법 및 랭크조스 방법의 계산 비효율성 문제를 해결한다.
• 행렬의 안정적 랭크와 고유값 갭에 대한 의존성을 분리함으로써 오프라인 및 온라인 고유벡터 추정을 향상시킨다.
• 기저 분포의 분산을 분석하여 온라인 설정에서 점근적으로 최적의 표본 복잡도를 달성한다.
• 스토캐스틱 분산 감소 기반 경사하강법을 사용하여 선형 시스템을 효율적으로 해결할 수 있도록 하는 강건한 시프트-인버트 조건부 기법을 개발한다.

제안 방법

• 행렬 $\lambda\mathbf{I} - \mathbf{A}^\top\mathbf{A}$ 에서의 선형 시스템을 반복적으로 풀어 고유벡터 문제를 변환함으로써, $\lambda \approx \lambda_1(\mathbf{A}^\top\mathbf{A})$ 를 만족하는 조건부 기법을 적용한다.
• 개선된 수렴 보장을 갖는 Stochastic Variance Reduced Gradient (SVRG)의 변종을 사용하여 선형 시스템을 근사적으로 해결한다.
• 선형 시스템 해법의 근사 오차가 존재하더라도 수렴을 보장하는, 시프트-인버트된 파워 방법에 대한 강건한 분석을 도입한다.
• 온라인 설정에서의 표본 복잡도를 기술하기 위해 분포에 의존하는 분산 측정값 $\operatorname{v}(\mathcal{D})$ 를 정의한다.
• 기존의 초기화 방법과 제안된 알고리즘을 조합하여 다양한 분포 가정 하에서 표본 및 런타임 복잡도를 향상시킨다.
• 레이일리 몫과 고유값 갭의 진화를 분석하여 알고리즘의 수렴 속도에 대한 이론적 경계를 확립한다.

실험 결과

연구 질문

• RQ1 행렬의 안정적 랭크와 고유값 갭에 대한 종속성과 분리된 런타임을 갖는 고유벡터 계산 알고리즘을 설계할 수 있는가?
• RQ2 통계 설정에서, 표본 수가 증가함에 따라 온라인 고유벡터 추정에 대해 최적의 표본 복잡도를 달성할 수 있는가?
• RQ3 분산 감소 최적화와 효과적으로 통합될 수 있는 강건한 시프트-인버트 조건부 기법을 통해 선형 시스템을 더 효율적으로 해결할 수 있는가?
• RQ4 일반 분포에 대해 제안된 방법이 표본 복잡도 측면에서 점근적으로 최적성을 달성하는가?
• RQ5 오프라인 및 온라인 환경 모두에서 안정적 랭크와 고유값 갭에 대해 알고리즘의 성능이 어떻게 스케일링되는가?

주요 결과

• 오프라인 고유벡터 계산의 경우, 알고리즘은 $\widetilde{O}\left(\left[\operatorname{nnz}(\mathbf{A}) + \frac{d\operatorname{sr}(\mathbf{A})}{\mathrm{gap}^2}\right]\cdot\log\frac{1}{\epsilon}\right)$ 의 런타임을 달성하며, 고전적 파워 및 랭크조스 방법보다 향상된다.
• 특히 $\operatorname{nnz}(\mathbf{A}) \leq \frac{d\operatorname{sr}(\mathbf{A})}{\mathrm{gap}^2}$ 인 희소 환경에서는 $\widetilde{O}\left(\left[\frac{\operatorname{nnz}(\mathbf{A})^{3/4}(d\operatorname{sr}(\mathbf{A}))^{1/4}}{\sqrt{\mathrm{gap}}}\right]\cdot\log\frac{1}{\epsilon}\right)$ 의 런타임을 달성하여 추가적인 향상이 이루어진다.
• 온라인 설정에서는 $\epsilon$-근사 고유벡터를 계산하기 위해 $\widetilde{O}\left(\frac{\operatorname{v}(\mathcal{D})}{\mathrm{gap}^2} + \frac{\operatorname{v}(\mathcal{D})}{\mathrm{gap} \cdot \epsilon}\right)$ 개의 표본이 필요하다.
• 일반 분포에 대해 표본 복잡도가 점근적으로 최적이며, 가우시안 스팘이 모델의 하한선과 일치함을 증명하였다.
• 대표표본 환경에서 표본 크기의 함수로서 최적의 정확도를 달성하며, $\epsilon$-정확도를 확보하기 위해 $n = \Theta\left(\frac{\operatorname{v}(\mathcal{D})}{\mathrm{gap}^2 \epsilon}\right)$ 개의 표본이 필요하다.
• 이론적 분석을 통해 알고리즘의 수렴이 선형 시스템 해법의 근사 오차에 대해 강건함을 확인하였으며, 반복적 해법을 사용한 실용적 구현이 가능함을 입증하였다.