[논문 리뷰] Randomized Block Krylov Methods for Stronger and Faster Approximate Singular Value Decomposition

Cameron Musco, Christopher Musco|arXiv (Cornell University)|2015. 04. 21.

Stochastic Gradient Optimization Techniques참고 문헌 35인용 수 93

한 줄 요약

이 논문은 기존 방법보다 훨씬 빠른 수렴 속도를 보이며, 거의 최적의 저질서 근사와 주성분 분석(PCA)을 달성하는 랜덤화 블록 크릴로프 방법을 소개한다. 기존의 동시 반복법(Simultaneous Iteration)이 Õ(1/ε) 반복을 필요로 하는 데 비해, 이 방법은 (1+ε) 스펙트럴 노름 오차를 유지하면서도 Õ(1/√ε) 반복으로 줄였으며, 이 분야에서 Krylov 부분공간 방법에 대한 처음으로 갭에 의존하지 않는 이론적 보장을 제공한다.

ABSTRACT

Since being analyzed by Rokhlin, Szlam, and Tygert and popularized by Halko, Martinsson, and Tropp, randomized Simultaneous Power Iteration has become the method of choice for approximate singular value decomposition. It is more accurate than simpler sketching algorithms, yet still converges quickly for any matrix, independently of singular value gaps. After $ ilde{O}(1/ε)$ iterations, it gives a low-rank approximation within $(1+ε)$ of optimal for spectral norm error. We give the first provable runtime improvement on Simultaneous Iteration: a simple randomized block Krylov method, closely related to the classic Block Lanczos algorithm, gives the same guarantees in just $ ilde{O}(1/\sqrtε)$ iterations and performs substantially better experimentally. Despite their long history, our analysis is the first of a Krylov subspace method that does not depend on singular value gaps, which are unreliable in practice. Furthermore, while it is a simple accuracy benchmark, even $(1+ε)$ error for spectral norm low-rank approximation does not imply that an algorithm returns high quality principal components, a major issue for data applications. We address this problem for the first time by showing that both Block Krylov Iteration and a minor modification of Simultaneous Iteration give nearly optimal PCA for any matrix. This result further justifies their strength over non-iterative sketching methods. Finally, we give insight beyond the worst case, justifying why both algorithms can run much faster in practice than predicted. We clarify how simple techniques can take advantage of common matrix properties to significantly improve runtime.

연구 동기 및 목표

• 기존의 랜덤화 SVD 방법들인 동시 반복법(Simultaneous Iteration)의 느린 수렴 문제를 해결하며, (1+ε) 스펙트럴 노름 오차를 위해 Õ(1/ε) 반복이 필요로 하는 문제를 다룬다.
• 기존 방법과 동일한 정확도를 달성하면서도 오직 Õ(1/√ε) 반복으로 수렴하는 크릴로프 기반 방법을 개발하여 런타임을 크게 향상시킨다.
• 저질서 근사에 대해 기존의 단일 값 갭에 의존하지 않는 첫 번째 이론적 분석을 제공한다.
• 제안된 블록 크릴로프 방법과 수정된 동시 반복법이 저질서 근사 외에도 높은 품질의 주성분을 반환함을 보여주며, 이는 이전의 스케칭 방법의 핵심 한계를 해결한다.
• 일반적인 행렬 성질(예: 빠른 특이값 감쇠)이 최악의 경우 경계를 초월해 수렴 속도를 가속화하는 방식을 분석하여 실험에서 관측된 실용적 속도 향상을 설명한다.

제안 방법

• 크릴로프 부분공간을 구성하기 위해 k×k 크기의 랜덤 시작 행렬을 반복적으로 행렬-벡터 곱셈을 통해 생성하는 랜덤화 블록 크릴로프 반복을 제안한다.
• 결과로 얻어진 블록 크릴로프 행렬 K의 상위 k개의 왼쪽 특이벡터를 사용하여 A의 저질서 근사를 구성한다.
• 수치적 안정성을 유지하고 수직성 손실을 방지하기 위해 각 반복 단계에서 재정규화를 적용한다.
• 특이값 갭이 아닌 σk/σp+1에 의존하는 새로운 갭에 의존하지 않는 오차 경계를 사용하여 방법을 분석한다.
• 임의 행렬 이론과 부분공간 투영의 논리를 활용하여, 이 방법이 Õ(1/√ε) 반복 내에 (1+ε) 스펙트럴 노름 오차를 달성함을 보여준다.
• 동시 반복법에 블록 구조를 도입하여, 이 역시 거의 최적의 PCA를 달성함을 보여주며, 비반복적 스케칭 방법보다 향상됨을 입증한다.

실험 결과

연구 질문

• RQ1 특이값 갭에 의존하지 않고, 저질서 SVD에 대해 동시 반복법보다 더 빠른 수렴 속도를 달성할 수 있는 크릴로프 부분공간 방법이 존재하는가?
• RQ2 비반복적 스케칭 방법보다 더 나은 주성분 추정을 제공하는가, 즉 프로베니우스 노름 오차가 나쁠지라도?
• RQ3 왜 블록 크릴로프와 동시 반복법은 최악의 경우 이론적 경계보다 실질적으로 훨씬 더 빠르게 수렴하는가?
• RQ4 크릴로프 기반 방법이 Õ(1/ε) 반복이 아닌 Õ(1/√ε) 반복 내에 (1+ε) 스펙트럴 노름 오차를 달성할 수 있는가?
• RQ5 실제 행렬의 어떤 구조적 특성이 최악의 경우 분석을 초월해 관측된 실용적 속도 향상을 설명하는가?

주요 결과

• 블록 크릴로프 방법은 Õ(1/√ε) 반복 내에 (1+ε) 스펙트럴 노름 오차를 달성하며, 이는 동시 반복법이 요구하는 Õ(1/ε) 반복에 비해 증명된 개선이다.
• 이 방법은 저질서 SVD에서 Krylov 부분공간 방법에 대해 기존에 없었던 갭에 의존하지 않는 이론적 분석을 제공하며, 특이값 갭 대신 σk/σp+1의 비율에 의존한다.
• 블록 크릴로프 방법과 수정된 동시 반복법 모두 거의 최적의 주성분을 반환하며, 이는 이전 스케칭 방법의 핵심 한계를 해결한다.
• SNAP/amazon0302, email-Enron, 20 Newsgroups 데이터셋에 대한 실험 결과, 스펙트럴 노름 오차 및 벡터별 오차에서 블록 크릴로프가 동시 반복법 대비 2–4배 더 빠르게 수렴함을 보였다.
• 20 Newsgroups 데이터셋(11,269×15,088)에서, 특히 작은 ε 값일 경우 블록 크릴로프가 더 낮은 각 반복 오버헤드 덕분에 런타임 비용에서 동시 반복법을 능가했다.
• 이론적 분석은 실용적 속도 향상을 설명한다: σk/σp+1가 클 경우, 수렴 의존도가 1/ε에서 log(1/ε)로 변화하며, 이는 특이값 감쇠가 빠른 데이터셋에서 관측된 바와 일치한다.