[논문 리뷰] Faster Eigenvector Computation via Shift-and-Invert Preconditioning

Dan Garber, Elad Hazan외 5명|arXiv (Cornell University)|2016. 05. 26.

Stochastic Gradient Optimization Techniques참고 문헌 23인용 수 34

한 줄 요약

이 논문은 스위치-인버트 조건부 조정을 사용하여 행렬의 최상위 고유벡터를 계산하는 데 더 빠른 알고리즘을 제시한다. 여기에 스토케스틱 분산 감소 기반 경사하강법(SVRG) 해법을 결합하여, 기존의 고전적 파wer 및 랑크조스 방법보다 훨씬 뛰어난 런타임 상한을 달성한다. 특히 비제로 원소 수(nnz)와 스펙트럼 갭 간의 종속성을 분리함으로써, $\widetilde{O}\big(\big[\text{nnz}(\mathbf{A}) + \frac{d\cdot\text{sr}(\mathbf{A})}{\text{gap}^2}\big]\cdot\log 1/\epsilon\big)$ 및 $\widetilde{O}\big(\big[\text{nnz}(\mathbf{A})^{3/4}(d\cdot\text{sr}(\mathbf{A}))^{1/4}/\sqrt{\text{gap}}\big]\cdot\log 1/\epsilon\big)$의 런타임 상한을 확보한다.

ABSTRACT

We give faster algorithms and improved sample complexities for estimating the top eigenvector of a matrix $Σ$ -- i.e. computing a unit vector $x$ such that $x^T Σx \ge (1-ε)λ_1(Σ)$: Offline Eigenvector Estimation: Given an explicit $A \in \mathbb{R}^{n imes d}$ with $Σ= A^TA$, we show how to compute an $ε$ approximate top eigenvector in time $ ilde O([nnz(A) + \frac{d*sr(A)}{gap^2} ]* \log 1/ε)$ and $ ilde O([\frac{nnz(A)^{3/4} (d*sr(A))^{1/4}}{\sqrt{gap}} ] * \log 1/ε)$. Here $nnz(A)$ is the number of nonzeros in $A$, $sr(A)$ is the stable rank, $gap$ is the relative eigengap. By separating the $gap$ dependence from the $nnz(A)$ term, our first runtime improves upon the classical power and Lanczos methods. It also improves prior work using fast subspace embeddings [AC09, CW13] and stochastic optimization [Sha15c], giving significantly better dependencies on $sr(A)$ and $ε$. Our second running time improves these further when $nnz(A) \le \frac{d*sr(A)}{gap^2}$. Online Eigenvector Estimation: Given a distribution $D$ with covariance matrix $Σ$ and a vector $x_0$ which is an $O(gap)$ approximate top eigenvector for $Σ$, we show how to refine to an $ε$ approximation using $ O(\frac{var(D)}{gap*ε})$ samples from $D$. Here $var(D)$ is a natural notion of variance. Combining our algorithm with previous work to initialize $x_0$, we obtain improved sample complexity and runtime results under a variety of assumptions on $D$. We achieve our results using a general framework that we believe is of independent interest. We give a robust analysis of the classic method of shift-and-invert preconditioning to reduce eigenvector computation to approximately solving a sequence of linear systems. We then apply fast stochastic variance reduced gradient (SVRG) based system solvers to achieve our claims.

연구 동기 및 목표

• 특히 고유값 갭이 작은 경우에 대해 오프라인 및 온라인 환경에서 최상위 고유벡터 계산을 위한 더 빠른 알고리즘을 개발하기 위해.
• 입력 행렬의 비제로 원소 수(nnz)와 안정적 랭크(sr)에 대한 런타임 의존성, 특히 갭 의존성과 nnz 항 간의 분리로 향상시키기 위해.
• 분포 접근이 가능한 온라인 환경에서, 초기 근사 최상위 고유벡터를 향상시키는 데에 $O(\text{v}(\mathcal{D})/(\text{gap} \cdot \epsilon))$개의 샘플만을 사용함으로써 더 낮은 샘플 복잡도를 달성하기 위해.
• 고유벡터 계산을 위한 스위치-인버트 조건부 조정의 강력한 이론적 분석을 제공하여, 잘 조절된 선형 시스템을 푸는 데로의 효율적 감소를 가능하게 하기 위해.
• 스위치-인버트와 현대적 스트로케스틱 해법(SVRG 등)을 조합함으로써 고전적 방법보다 더 빠른 수렴을 보장할 수 있음을 보여주기 위해.

제안 방법

• 스위치-인버트 조건부 조정을 통해 $\lambda \approx \lambda_1(\mathbf{A}^\top\mathbf{A})$ 인 경우 $\mathbf{B} = \lambda\mathbf{I} - \mathbf{A}^\top\mathbf{A}$ 를 구성함으로써, 최상위 고유벡터 문제를 더 큰 효과적 갭을 가진 문제로 변환한다.
• 행렬 $\mathbf{B}$ 에서의 선형 시스템을 순차적으로 근사적으로 풀어 고유벡터 계산 문제를 축소하며, 이는 스위치 덕분에 잘 조절된 시스템이 된다.
• 스토케스틱 분산 감소 기반 경사하강법(SVRG)을 사용하여 이러한 선형 시스템을 효율적으로 풀며, 메모리와 반복 단위 비용이 단일 샘플 비례로 유지된다.
• 행렬 $\mathbf{B}^{-1}$ 에 대해 역파워 방법을 적용하여, $\mathbf{A}^\top\mathbf{A}$ 의 최상위 고유벡터에 대한 근사값을 반복적으로 향상시킨다.
• 오차가 선형 시스템 해법에 의해 수렴 성능이 떨어지지 않도록 보장하는 강력한 분석을 통해, 높은 확률로 $\epsilon$-정확도를 유지한다.
• 스펙트럼 성질(안정적 랭크 및 고유값 갭을 통한)과 데이터 희소성(비제로 원소 수를 통한)을 분리함으로써, 더 날카운 런타임 상한을 달성한다.

실험 결과

연구 질문

• RQ1 고유값 갭이 작은 경우에 스위치-인버트 조건부 조정이 안정적으로 분석되어 더 빠른 고유벡터 계산이 가능할 수 있는가?
• RQ2 최상위 고유벡터 알고리즘의 런타임에서 비제로 원소 수와 안정적 랭크 간의 의존성을 분리할 수 있는가?
• RQ3 분포 접근이 가능한 온라인 환경에서, 초기 근사 최상위 고유벡터를 보정하기 위한 최적의 샘플 복잡도는 무엇인가?
• RQ4 SVRG 기반 해법을 스위치-인버트와 효과적으로 조합하여 고전적 방법보다 더 빠른 수렴을 달성할 수 있는가?
• RQ5 스토케스틱 선형 시스템 해법과 함께 조건부 파워 방법을 사용할 경우, 런타임과 샘플 복잡도에 대한 이론적 상한은 무엇인가?

주요 결과

• 오프라인 알고리즘은 $\widetilde{O}\big(\big[\text{nnz}(\mathbf{A}) + \frac{d\cdot\text{sr}(\mathbf{A})}{\text{gap}^2}\big]\cdot\log 1/\epsilon\big)$ 의 런타임을 달성하며, 갭과 nnz 의존성 간의 분리를 통해 파워 및 랑크조스 방법보다 향상된다.
• 가속 버전은 $\widetilde{O}\big(\big[\text{nnz}(\mathbf{A})^{3/4}(d\cdot\text{sr}(\mathbf{A}))^{1/4}/\sqrt{\text{gap}}\big]\cdot\log 1/\epsilon\big)$ 의 런타임을 달성하며, $\text{nnz}(\mathbf{A}) \leq \frac{d\cdot\text{sr}(\mathbf{A})}{\text{gap}^2}$ 일 경우 더 빠르다.
• 온라인 환경에서는 $O(\text{gap})$-근사 고유벡터를 $O(\text{v}(\mathcal{D})/(\text{gap} \cdot \epsilon))$ 개의 샘플만으로 보정하여 샘플 복잡도를 향상시킨다.
• SVRG 기반 해법을 사용하여 $\mathbf{B}$ 의 선형 시스템을 풀었을 때, $1 - O(1/d^{10})$ 의 확률로 $\epsilon$-정확도를 달성한다.
• 이론적 분석을 통해 선형 시스템 해법에서의 오차 전파가 제어되며, 반복 과정에서 최상위 고유벡터 방향으로 $\Omega(\alpha_1^2)$ 의 성분이 유지됨을 보여준다.
• 결과적으로 스위치-인버트 방법은 이론적으로 타당할 뿐 아니라 실용적으로도 효과적이며, 실제 응용 분야에서 추가적인 성능 향상을 이끌 수 있음을 시사한다.