[논문 리뷰] A Stochastic PCA and SVD Algorithm with an Exponential Convergence Rate

Ohad Shamir|arXiv (Cornell University)|2014. 09. 09.

Stochastic Gradient Optimization Techniques참고 문헌 12인용 수 31

한 줄 요약

이 논문은 주성분 분석(PCA) 및 특이값 분해(SVD)를 위한 확률적 알고리즘인 VR-PCA를 제안한다. 이 알고리즘은 분산 감소 확률적 경사 하강법을 활용하여 지수적 수렴성을 달성한다. 기존 방법과 달리, 각 반복의 비용이 낮으면서도 정확도에 대한 로그적 의존성을 가지며, 데이터 크기와 고유값 갭의 곱을 피함으로써 유한한 데이터 노름 조건 하에서 런타임이 $\mathcal{O}(d_s(n + \frac{1}{\lambda^2})\log(\frac{1}{\epsilon}))$임을 보장한다.

ABSTRACT

We describe and analyze a simple algorithm for principal component analysis and singular value decomposition, VR-PCA, which uses computationally cheap stochastic iterations, yet converges exponentially fast to the optimal solution. In contrast, existing algorithms suffer either from slow convergence, or computationally intensive iterations whose runtime scales with the data size. The algorithm builds on a recent variance-reduced stochastic gradient technique, which was previously analyzed for strongly convex optimization, whereas here we apply it to an inherently non-convex problem, using a very different analysis.

연구 동기 및 목표

• 대규모 데이터 크기에 따라 성능이 급격히 떨어지는 기존 PCA/SVD 방법의 계산 병목 현상을 해결하기 위해.
• 기본적인 확률적 알고리즘의 느린 수렴성(역정확도에 대해 선형적으로 스케일링됨)을 극복하기 위해.
• 고정밀도 해를 위한 지수적 수렴 속도를 달성하면서도 각 반복의 비용을 낮게 유지하는 방법을 개발하기 위해.
• 이전에 강凸 문제에 국한되어 있던 분산 감소 확률적 최적화 기법을 비凸 PCA 문제로 확장하기 위해.
• 데이터 크기와 역고유값 갭 제곱의 합에 따라 스케일링되는 런타임 분석을 제공하기 위해.

제안 방법

• 비凸 PCA 문제에 적합하게 조정된 분산 감소 확률적 경사 하강법을 사용하며, 특히 $\|\mathbf{w}\|_2 = 1$ 조건 하에 $-\mathbf{w}^\top (\frac{1}{n}\sum_{i=1}^n \mathbf{x}_i\mathbf{x}_i^\top)\mathbf{w}$ 를 최소화한다.
• 에포크 기반 아키텍처를 활용한다: 각 에포크는 $m$회의 반복을 포함하며, 각 에포크의 시작 시 전체 경사를 계산하여 분산을 감소시킨다.
• 랜덤으로 샘플된 데이터 벡터 $\mathbf{x}_i$ 를 기반으로 한 확률적 경사와 제어 변수를 조합하여 분산을 감소시킨다.
• 단위 노름을 유지하고 단계 크기 $\eta = \alpha\lambda$ 를 사용함으로써 최상위 고유벡터로의 수렴을 보장한다.
• 현재 반복값과 진짜 최상위 고유벡터 사이의 각도의 제곱余弦을 통해 부적합도를 경계하는 확률적 분석을 수행한다.
• 제곱각 $\tilde{b}_t = 1 - \langle \tilde{\mathbf{w}}_t, \mathbf{v}_1 \rangle^2$ 에 대한 재귀 관계를 활용하여, 높은 확률로 지수적 감소가 일어남을 보여준다.

실험 결과

연구 질문

• RQ1 강凸성이 없음에도 불구하고 비凸 PCA 문제에 분산 감소 확률적 최적화를 성공적으로 적용할 수 있는가?
• RQ2 데이터 크기와 무관한 각 반복 비용을 유지하면서도 PCA에서 지수적 수렴 속도를 달성할 수 있는가?
• RQ3 런타임이 $\mathcal{O}(d_s(n + \frac{1}{\lambda^2})\log(\frac{1}{\epsilon}))$ 로 스케일링될 수 있으며, 그보다 더 나쁜 $\mathcal{O}(d_s n \frac{1}{\lambda^p})$ 의 형태가 아닐까?
• RQ4 런타임에 포함된 $\frac{1}{\lambda^2}$ 의 의존성은 필수적인가, 아니면 강凸 설정에서처럼 $\frac{1}{\lambda}$ 로 개선될 수 있는가?
• RQ5 최적해에서 멀리 떨어져 초기화된 경우 알고리즘이 어떻게 행동하는가? 그리고 무작위 초기화로부터 이론적 보장을 확보할 수 있는가?

주요 결과

• 알고리즘 VR-PCA는 높은 확률로 최상위 고유벡터로 지수적 수렴성을 보이며, $T = \lceil \frac{\log(1/\epsilon)}{\log(1/\gamma)} \rceil$ 에포크 후에 $1 - \langle \tilde{\mathbf{w}}_T, \mathbf{v}_1 \rangle^2 \leq \epsilon$ 이 성립한다.
• 런타임은 $\mathcal{O}(d_s(n + \frac{1}{\lambda^2})\log(\frac{1}{\epsilon}))$ 이며, $\lambda$ 가 작을 경우 결정론적 방법보다 열등하지 않다.
• $\lambda \geq \Omega(1/\sqrt{n})$ 인 경우, 런타임은 로그 인자 외에는 $\mathcal{O}(d_s n)$ 으로, 단일 데이터 스캔과 동일하다.
• 유한한 데이터 노름 조건 하에서 수렴이 증명되었으며, 노름 $r$ 으로 스케일링함으로써 일반적인 노름으로의 분석 확장이 가능하다.
• 수렴을 위해 에포크당 $m \geq \frac{c\log(2/\delta)}{\eta\lambda}$ 회의 반복과 $\eta \leq c\delta^2\lambda / r^2$ 의 단계 크기 조건이 필요하다.
• 분석 결과, $1/\lambda^2$ 요소는 개선 가능성이 없을 수 있으나, 이 비凸 설정에서 $1/\lambda$ 가 달성 가능한지 여부는 여전히 열린 질문이다.