[논문 리뷰] Fast and Simple PCA via Convex Optimization

Dan Garber, Elad Hazan|arXiv (Cornell University)|2015. 09. 18.

Sparse and Compressive Sensing Techniques참고 문헌 26인용 수 61

한 줄 요약

이 논문은 주어진 특이벡터 계산을 잘 조절된 볼록 최적화 문제의 소수의 해법으로 환원함으로써 빠르고 단순한 PCA를 위한 새로운 볼록 최적화 프레임워크를 제안한다. 이는 기존 방법보다 우수한 런타임 성능을 달성한다: 최상위 고유벡터와의 ε-근사 정렬에 대해 Õ(d/δ² + N)이고, 고유벡터의 레일리 몫 최대화에 대해선 Õ(d/ε²)이며, 주요 매개변수 영역에서 이전의 방법들을 능가한다.

ABSTRACT

The problem of principle component analysis (PCA) is traditionally solved by spectral or algebraic methods. We show how computing the leading principal component could be reduced to solving a extit{small} number of well-conditioned {\it convex} optimization problems. This gives rise to a new efficient method for PCA based on recent advances in stochastic methods for convex optimization. In particular we show that given a $d imes d$ matrix $\X = \frac{1}{n}\sum_{i=1}^n\x_i\x_i^{ op}$ with top eigenvector $\u$ and top eigenvalue $λ_1$ it is possible to: \begin{itemize} \item compute a unit vector $\w$ such that $(\w^{ op}\u)^2 \geq 1-ε$ in $ ilde{O}\left({\frac{d}{δ^2}+N} ight)$ time, where $δ= λ_1 - λ_2$ and $N$ is the total number of non-zero entries in $\x_1,...,\x_n$, \item compute a unit vector $\w$ such that $\w^{ op}\X\w \geq λ_1-ε$ in $ ilde{O}(d/ε^2)$ time. \end{itemize} To the best of our knowledge, these bounds are the fastest to date for a wide regime of parameters. These results could be further accelerated when $δ$ (in the first case) and $ε$ (in the second case) are smaller than $\sqrt{d/N}$.

연구 동기 및 목표

• 전체 특이값 분해 또는 행렬 분해가 필요한 O(nd² + d³) 시간이 소요되는 전통적인 PCA 방법의 계산 비효율성 문제를 해결한다.
• 파워법이나 랭크조스 방법과 같은 반복적 방법의 한계를 극복한다. 이는 스펙트럴 갭 δ에 크게 의존하고 데이터를 다수의 루프를 거쳐야 하기 때문이다.
• 각 반복에서 선형 시간 복잡도를 확보하면서도 데이터를 로그 수준의 횟수만 통과시키는 방법을 개발하여 더 빠른 수렴을 달성한다.
• 대규모 머신러닝 환경에서 더 빠른 PCA 계산을 가능하게 하기 위해 문제를 잘 조절된 볼록 최적화 문제의 해법으로 환원한다.
• 특히 δ 또는 ε이 데이터 크기 N에 비해 작을 경우, 이전의 스위치드 PCA 알고리즘보다 더 나은 런타임 성능을 달성한다.

제안 방법

• PCA 문제를 다항로그 수준의 잘 조절된 비제약, 미분 가능, 강하게 볼록인 최적화 문제의 시퀀스로 환원한다.
• 최근의 스위치드 볼록 최적화 기술, 특히 분산 감소 기법을 활용하여 이러한 하위 문제를 효율적으로 해결한다.
• 각 기울기를 데이터 벡터에 가중치를 부여한 분포에서 무작위로 추출하는 방식의 기울기 샘플링 기법을 도입하여 균일 샘플링 대비 수렴 속도를 향상시킨다.
• 정규화된 레일리 몫을 최소화하기 위해 적응형 스텝 사이즈와 모멘텀을 적용한 수정된 스위치드 하위기울기 방법을 적용한다.
• 비용이 많이 드는 초기화를 피하기 위해 볼록 리프래스팅 기법을 활용해 최적화 과정을 부스터링하는 온전한 시작 전략을 도입한다.
• 원래의 비볼록 PCA 문제를 조건이 유리한 볼록 하위 문제의 시퀀스로 변환함으로써 수치적 안정성과 수렴성을 확보한다.

실험 결과

연구 질문

• RQ1 주요 주성분 계산을 볼록 최적화 문제의 시퀀스로 재구성하여 더 빠른 수렴을 이룰 수 있는가?
• RQ2 PCA 근사의 런타임 측면에서 스펙트럴 갭 δ와 데이터 크기 N 사이의 최적의 트레이드오프는 무엇인가?
• RQ3 특히 δ가 작을 경우, 볼록 최적화 기법이 파워법이나 랭크조스와 같은 반복적 비볼록 방법보다 더 나은 런타임 성능을 달성할 수 있는가?
• RQ4 스위치드 기울기에서 가중치를 부여한 샘플링 방식이 PCA의 수렴 속도와 근사 정확도에 어떤 영향을 미치는가?
• RQ5 제안된 방법을 기존의 하위선형 시간 볼륨의 SDP 해법에 통합하여 성능 향상을 이룰 수 있는가?

주요 결과

• 제안된 방법은 (wᵀu)² ≥ 1−ε 를 만족하는 단위 벡터 w를 Õ(d/δ² + N) 시간 내에 계산한다. 여기서 δ = λ₁ − λ₂ 는 스펙트럴 갭이다.
• 레일리 몫 최대화의 경우, wᵀXw ≥ λ₁ − ε 를 Õ(d/ε²) 시간 내에 달성한다. 이는 스펙트럴 갭에 영향을 받지 않는다.
• 이러한 경계는 이전에 알려진 최고의 결과보다 향상되었으며, 특히 δ가 작거나 ε이 √(d/N)에 비해 클 경우 두드러진다.
• 특히 온전한 시작 전략이 없더라도, δ와 ε에 대한 더 나은 의존성 덕분에 샤미르의 스위치드 PCA 알고리즘보다 악조건에서도 뛰어난 성능을 보인다.
• 이 프레임워크는 기존의 하위선형 시간 SDP 해법의 고유값 계산 단계를 새로운 PCA 방법으로 대체함으로써 가속화를 가능하게 하며, 런타임을 Õ(1/ε² (mF² + min{S/ε², N/√ε})) 수준으로 줄일 수 있다.
• 이론적 분석을 통해 ε-근사에 대해 높은 확률 보장(1−p)을 유지함을 확인하였으며, 반복 횟수와 스텝 사이즈 선택에 대한 명시적 경계를 제시하였다.