[論文レビュー] Stronger and Faster Approximate Singular Value Decomposition via the Block Lanczos Method

Cameron Musco, Christopher Musco|arXiv (Cornell University)|Apr 21, 2015

Stochastic Gradient Optimization Techniques参考文献 29被引用数 4

ひとこと要約

この論文は、スペクトルノルム誤差が (1+ε) であることを保証するが、Simultaneous Power Iteration よりもはるかに少ない Õ(1/√ε) 回の反復で達成できる確率的ブロック Krylov 法を提案する。これは、実行時間の明示的改善を示している。さらに、ほぼ最適な主成分分析（PCA）性能を確立し、行列の構造を活用することで実用的な高速化を説明している。

ABSTRACT

Since being analyzed by Rokhlin, Szlam, and Tygert and popularized by Halko, Martinsson, and Tropp, randomized Simultaneous Power Iteration has become the method of choice for approximate singular value decomposition. It is more accurate than simpler sketching algorithms, yet still converges quickly for any matrix, independently of singular value gaps. After $ ilde{O}(1/\epsilon)$ iterations, it gives a low-rank approximation within $(1+\epsilon)$ of optimal for spectral norm error. We give the first provable runtime improvement on Simultaneous Iteration: a simple randomized block Krylov method, closely related to the classic Block Lanczos algorithm, gives the same guarantees in just $ ilde{O}(1/\sqrt{\epsilon})$ iterations and performs substantially better experimentally. Despite their long history, our analysis is the first of a Krylov subspace method that does not depend on singular value gaps, which are unreliable in practice. Furthermore, while it is a simple accuracy benchmark, even $(1+\epsilon)$ error for spectral norm low-rank approximation does not imply that an algorithm returns high quality principal components, a major issue for data applications. We address this problem for the first time by showing that both Block Krylov Iteration and a minor modification of Simultaneous Iteration give nearly optimal PCA for any matrix. This result further justifies their strength over non-iterative sketching methods. Finally, we give insight beyond the worst case, justifying why both algorithms can run much faster in practice than predicted. We clarify how simple techniques can take advantage of common matrix properties to significantly improve runtime.

研究の動機と目的

• 既存の確率的 SVD 法（例：Simultaneous Power Iteration）の収束が遅いため、スペクトルノルム誤差が (1+ε) であることを満たすには Õ(1/ε) 回の反復が必要となる問題に対処すること。
• 特異値ギャップに依存しない Krylov部分空間に基づく手法を開発すること。実世界のデータでは特異値ギャップが不安定であることが多いため。
• 提案されたブロック Krylov 法が、スペクトルノルムだけでなく実用的な成分回復においても、任意の行列に対してほぼ最適な PCA の品質を達成することを証明すること。
• Krylov 法の実用的高速化が、最悪ケースの理論的境界を上回る理由を、一般的な行列の性質を分析することで説明すること。

提案手法

• この手法は、古典的なブロックランチョス法に近く、確率的ブロック Krylov部分空間反復を用いて低ランク近似を生成する。
• ランダムな初期ベクトルを用いて Krylov部分空間を構築し、行列-ベクトル積を繰り返し実行することで、主要な特異部分空間を捉える。
• 特異値ギャップに依存しない数値的安定性と収束性を確保するため、確率的サンプリング戦略を採用する。
• Krylov行列に対して QR 分解または SVD を適用し、近似された特異ベクトルと特異値を抽出する。
• 確率的数値線形代数の道具を用いて解析し、(1+ε) スペクトルノルム誤差を Õ(1/√ε) 回の反復で達成できることを証明する。
• Simultaneous Iteration のわずかな変更についても解析し、同様にほぼ最適な PCA を達成できることを示す。これにより、反復的手法の頑健性が強調される。

実験結果

リサーチクエスチョン

• RQ1 Krylov部分空間法は、Simultaneous Power Iteration と同等の (1+ε) スペクトルノルム誤差を、はるかに少ない反復回数で達成できるか？
• RQ2 ブロック Krylov 法は、実用的においてしばしば不適切な特異値ギャップに依存せずに収束するか？
• RQ3 このような手法は、スペクトルノルムの正確性だけでなく、ほぼ最適な主成分回復を提供できるか？
• RQ4 Krylov 法が理論的最悪ケース境界を大きく上回る実用的高速化を示す理由は何か？

主な発見

• ブロック Krylov 法は、(1+ε) スペクトルノルム誤差を Õ(1/√ε) 回の反復で達成し、Simultaneous Power Iteration が要請する Õ(1/ε) 回の反復よりも明示的な改善を示している。
• この手法の収束は特異値ギャップに依存しないため、実世界のデータではしばしば小さなかあるいは存在しない特異値ギャップに対してもより信頼性が高くなる。
• ブロック Krylov 法と変更を加えた Simultaneous Iteration の両方が、任意の行列に対してほぼ最適な PCA を達成する。これは、従来のスケッチ法に見られる主な制限を解消する。
• 理論的解析により、一般的な行列構造（特異値のクラスタリングや特異ベクトルの減衰）を活用することで収束が加速できることを示しており、実用的高速化の理由が説明される。