[논문 리뷰] Stronger and Faster Approximate Singular Value Decomposition via the Block Lanczos Method

Cameron Musco, Christopher Musco|arXiv (Cornell University)|2015. 04. 21.

Stochastic Gradient Optimization Techniques참고 문헌 29인용 수 4

한 줄 요약

이 논문은 스펙트럴 노름 오차 보장을 (1+ε)로 유지하면서도 Simultaneous Power Iteration와 동일한 성능을 내지만, 오직 Õ(1/√ε) 반복만으로 달성하는 랜덤라이즈드 블록 크릴로프 방법을 소개한다. 이는 증명 가능한 런타임 향상이다. 또한, 거의 최적의 주성분 분석(PCA) 성능을 확립하고, 행렬의 구조를 활용함으로써 실질적인 속도 향상을 설명한다.

ABSTRACT

Since being analyzed by Rokhlin, Szlam, and Tygert and popularized by Halko, Martinsson, and Tropp, randomized Simultaneous Power Iteration has become the method of choice for approximate singular value decomposition. It is more accurate than simpler sketching algorithms, yet still converges quickly for any matrix, independently of singular value gaps. After $ ilde{O}(1/\epsilon)$ iterations, it gives a low-rank approximation within $(1+\epsilon)$ of optimal for spectral norm error. We give the first provable runtime improvement on Simultaneous Iteration: a simple randomized block Krylov method, closely related to the classic Block Lanczos algorithm, gives the same guarantees in just $ ilde{O}(1/\sqrt{\epsilon})$ iterations and performs substantially better experimentally. Despite their long history, our analysis is the first of a Krylov subspace method that does not depend on singular value gaps, which are unreliable in practice. Furthermore, while it is a simple accuracy benchmark, even $(1+\epsilon)$ error for spectral norm low-rank approximation does not imply that an algorithm returns high quality principal components, a major issue for data applications. We address this problem for the first time by showing that both Block Krylov Iteration and a minor modification of Simultaneous Iteration give nearly optimal PCA for any matrix. This result further justifies their strength over non-iterative sketching methods. Finally, we give insight beyond the worst case, justifying why both algorithms can run much faster in practice than predicted. We clarify how simple techniques can take advantage of common matrix properties to significantly improve runtime.

연구 동기 및 목표

• 기존의 랜덤라이즈드 SVD 방법들, 예를 들어 스펙트럴 노름에서 (1+ε) 오차를 달성하기 위해 Õ(1/ε) 반복이 필요한 Simultaneous Power Iteration의 느린 수렴 문제를 해결하기 위해.
• 특이값 간격에 의존하지 않는 크릴로프 부분공간 기반 방법을 개발하여, 실세계 데이터에서는 종종 신뢰할 수 없는 특이값 간격 문제를 피하기 위해.
• 제안된 블록 크릴로프 방법이 어떤 행렬이라도 거의 최적의 PCA 품질을 달성할 수 있음을 증명하기 위해, 스펙트럴 노름 외에도 실질적인 성분 회복 성능을 포함하여.
• 최악의 이론적 경계를 초월해 실제로 더 빠르게 작동하는 크릴로프 방법의 관찰된 실질적 속도 향상을 설명하기 위해 일반적인 행렬 성질을 분석함으로써.

제안 방법

• 방법은 고전적인 블록 랑즈로프 알고리즘과 밀접하게 관련된 랜덤라이즈드 블록 크릴로프 부분공간 반복을 사용하여 저랭크 근사치를 생성한다.
• 무작위 초기 벡터를 사용해 크릴로프 부분공간을 구성하고, 매 반복마다 행렬-벡터 곱을 통해 주어진 부분공간을 확장함으로써 주요 특이 부분공간을 포착한다.
• 특이값 간격이 필요로 하지 않는 랜덤라이즈드 샘플링 전략을 사용하여 수치적 안정성과 수렴성을 유지한다.
• 크릴로프 행렬에 대해 QR 분해 또는 SVD를 적용하여 근사된 특이 벡터와 특이값을 추출한다.
• 랜덤라이즈드 수치선형대수 도구를 사용하여 분석함으로써, (1+ε) 스펙트럴 노름 오차를 위한 Õ(1/√ε) 반복 내에서 수렴함을 증명한다.
• Simultaneous Iteration의 약간의 수정된 형태도 분석하여, 이 역시 거의 최적의 PCA를 달성함을 보여, 반복 방법의 강건성을 강조한다.

실험 결과

연구 질문

• RQ1 크릴로프 부분공간 방법이 Simultaneous Power Iteration와 동일한 (1+ε) 스펙트럴 노름 오차를 더 적은 반복 수로 달성할 수 있는가?
• RQ2 특이값 간격에 의존하지 않는 블록 크릴로프 방법이 실질적으로 종종 불안정한 특이값 간격이 존재하는 경우에도 수렴하는가?
• RQ3 이러한 방법이 스펙트럴 노름 정확도 외에도 거의 최적의 주성분 회복을 제공할 수 있는가?
• RQ4 왜 크릴로프 방법은 최악의 이론적 경계를 초월해 실제로 더 빠르게 작동하는가?

주요 결과

• 블록 크릴로프 방법은 (1+ε) 스펙트럴 노름 오차를 Õ(1/√ε) 반복 내에서 달성하며, 이는 Simultaneous Power Iteration가 요구하는 Õ(1/ε) 반복에 비해 증명 가능한 향상이다.
• 이 방법의 수렴은 특이값 간격에 영향을 받지 않아, 실세계 데이터에서 종종 작은 또는 존재하지 않는 특이값 간격이 존재하는 경우에도 더 신뢰할 수 있다.
• 블록 크릴로프 방법과 수정된 Simultaneous Iteration 모두 어떤 행렬이라도 거의 최적의 PCA를 달성하며, 이는 이전의 스케칭 방법에서의 핵심적 한계를 해결한다.
• 이론적 분석을 통해 일반적인 행렬 구조—특이값의 군집화 또는 특이벡터의 감쇠—가 수렴을 가속화할 수 있음을 보여주어 실질적 속도 향상을 설명한다.