[論文レビュー] Randomized Block Krylov Methods for Stronger and Faster Approximate Singular Value Decomposition

Cameron Musco, Christopher Musco|arXiv (Cornell University)|Apr 21, 2015

Stochastic Gradient Optimization Techniques参考文献 35被引用数 93

ひとこと要約

この論文は、従来の手法よりも著しく高速に収束する、ほぼ最適な低ランク近似および主成分分析（PCA）を達成する確率的ブロックKrylov法を提案する。Simultaneous Iterationの Õ(1/ε) 回の反復を Õ(1/√ε) 回に削減しながら、(1+ε) のスペクトルノルム誤差を維持し、この文脈におけるKrylov部分空間法に対して、ギャップに依存しない理論的保証を初めて提供する。

ABSTRACT

Since being analyzed by Rokhlin, Szlam, and Tygert and popularized by Halko, Martinsson, and Tropp, randomized Simultaneous Power Iteration has become the method of choice for approximate singular value decomposition. It is more accurate than simpler sketching algorithms, yet still converges quickly for any matrix, independently of singular value gaps. After $ ilde{O}(1/ε)$ iterations, it gives a low-rank approximation within $(1+ε)$ of optimal for spectral norm error. We give the first provable runtime improvement on Simultaneous Iteration: a simple randomized block Krylov method, closely related to the classic Block Lanczos algorithm, gives the same guarantees in just $ ilde{O}(1/\sqrtε)$ iterations and performs substantially better experimentally. Despite their long history, our analysis is the first of a Krylov subspace method that does not depend on singular value gaps, which are unreliable in practice. Furthermore, while it is a simple accuracy benchmark, even $(1+ε)$ error for spectral norm low-rank approximation does not imply that an algorithm returns high quality principal components, a major issue for data applications. We address this problem for the first time by showing that both Block Krylov Iteration and a minor modification of Simultaneous Iteration give nearly optimal PCA for any matrix. This result further justifies their strength over non-iterative sketching methods. Finally, we give insight beyond the worst case, justifying why both algorithms can run much faster in practice than predicted. We clarify how simple techniques can take advantage of common matrix properties to significantly improve runtime.

研究の動機と目的

• Simultaneous Iterationのような従来の確率的SVD手法の収束の遅さに対処する。これらの手法は、(1+ε) のスペクトルノルム誤差を達成するため Õ(1/ε) 回の反復を必要とする。
• Krylovに基づく手法を構築し、同じ精度を Õ(1/√ε) 回の反復で達成することで、実行時間の大幅な向上を実現する。
• 低ランク近似におけるKrylov部分空間法の理論的分析を、特異値ギャップに依存しない形で初めて提供する。
• 提案されたブロックKrylov法と変更されたSimultaneous Iterationが、単なる低ランク近似ではなく、高品質な主成分を返すことを示す。
• 実験で観察された実用的高速化を説明するため、一般的な行列の性質（例：特異値の急速な減少）が、最悪ケースの境界を超えて収束を加速する仕組みを分析する。

提案手法

• k×k のランダムな初期行列を用いて、繰り返しの行列-ベクトル積によってKrylov部分空間を構築する確率的ブロックKrylov反復を提案する。
• 得られたブロックKrylov行列Kの上位k個の左特異ベクトルを用いて、行列Aの低ランク近似を構築する。
• 各反復で再正規化を適用し、数値的安定性を保ち、直交性の損失を防ぐ。
• 特異値ギャップに依存しない新しい誤差境界を用いて、この手法を分析する。この境界は、特異値ギャップではなく σk/σp+1 に依存する。
• ランダム行列理論と部分空間射影の議論を活用し、この手法が Õ(1/√ε) 回の反復で (1+ε) のスペクトルノルム誤差を達成することを示す。
• ブロック構造を導入したSimultaneous Iterationを変更し、非反復的スケッチング手法よりも優れた近似的PCAを達成できることを示す。

実験結果

リサーチクエスチョン

• RQ1 Krylov部分空間法は、特異値ギャップに依存せずに、Simultaneous Iterationよりも速い収束を達成できるか？
• RQ2 ブロックKrylov法は、フロベニウスノルム誤差が悪い場合でも、非反復的スケッチング手法よりも優れた主成分推定を提供できるか？
• RQ3 なぜ、ブロックKrylov法とSimultaneous Iterationの両方が、最悪ケースの理論的境界よりも実際にははるかに速く収束するのか？
• RQ4 Krylovに基づく手法が、(1+ε) のスペクトルノルム誤差を Õ(1/ε) 回の反復ではなく、Õ(1/√ε) 回の反復で達成できるか？
• RQ5 現実の行列に見られる、最悪ケース分析を超えた実用的高速化を説明する構造的性質は何か？

主な発見

• ブロックKrylov法は、(1+ε) のスペクトルノルム誤差を Õ(1/√ε) 回の反復で達成し、Simultaneous Iterationが要請する Õ(1/ε) 回の反復よりも明確に改善された、理論的保証を得ている。
• この手法は、Krylov部分空間法の低ランクSVDにおける、特異値ギャップに依存しない理論的分析を初めて提供する。この分析は、特異値ギャップではなく σk/σp+1 の比に依存する。
• ブロックKrylov法と変更されたSimultaneous Iterationの両方が、従来のスケッチング手法の主な限界を克服し、ほぼ最適な主成分を返す。
• SNAP/amazon0302、email-Enron、20 Newsgroups のデータセットにおける実験では、スペクトルノルム誤差およびベクトルごとの誤差において、ブロックKrylov法がSimultaneous Iterationよりも2〜4倍速く収束する。
• 20 Newsgroupsデータセット（11,269×15,088）では、特にεが小さい場合に、ブロックKryロフ法が反復ごとのオーバーヘッドが低いため、実行時間コストにおいてSimultaneous Iterationを上回る。
• 理論的分析により、実用的高速化が説明できる。σk/σp+1 が大きい場合、収束の依存性は 1/ε から log(1/ε) に変化し、特異値の急速な減少を示すデータセットでこの現象が観察される。