[論文レビュー] The PowerURV algorithm for computing rank-revealing full factorizations

Abinand Gopal, Per‐Gunnar Martinsson|arXiv (Cornell University)|Dec 14, 2018

Stochastic Gradient Optimization Techniques参考文献 10被引用数 4

ひとこと要約

PowerURVアルゴリズムは、ランダム化された部分空間反復とレベル3 BLAS演算を活用することで、大規模な行列のランクを明らかにするフル分解を計算的に効率的に行うランダム化手法である。この手法は、SVDと同等の性能を示す近似的に最適な低ランク近似を達成するが、特に数値ランクが行列次元と顕著に小さい場合でない限り、SVDのコストの僅か数パーセントで実現可能である。

ABSTRACT

Many applications in scientific computing and data science require the computation of a rank-revealing factorization of a large matrix. In many of these instances the classical algorithms for computing the singular value decomposition are prohibitively computationally expensive. The randomized singular value decomposition can often be helpful, but is not effective unless the numerical rank of the matrix is substantially smaller than the dimensions of the matrix. We introduce a new randomized algorithm for producing rank-revealing factorizations based on existing work by Demmel, Dumitriu and Holtz [Numerische Mathematik, 108(1), 2007] that excels in this regime. The method is exceptionally easy to implement, and results in close-to optimal low-rank approximations to a given matrix. The vast majority of floating point operations are executed in level-3 BLAS, which leads to high computational speeds. The performance of the method is illustrated via several numerical experiments that directly compare it to alternative techniques such as the column pivoted QR factorization, or the QLP method by Stewart.

研究の動機と目的

• 中程度の数値ランクを示す大規模行列に対して、フルSVDの計算的非効率性を解消すること。
• ターゲットランクが行列次元と顕著に小さい場合でない領域において、RSVDや列ピボット付きQR（CPQR）に見られる制限を克服すること。
• SVDの精度とランダム化アルゴリズムの高速性、およびCPQRの特徴を統合した手法を開発すること。
• 一度の効率的で簡潔な分解で、高品質な低ランク近似を可能にするランクを明らかにする分解を提供すること。
• 現代の高性能アーキテクチャとの互換性を確保するため、メモリと通信の効率性に優れたレベル3 BLAS演算に依存すること。

提案手法

• ランダム化された部分空間反復にパワー反復を適用し、ランダム射影行列の範囲を強化する。
• 射影された行列に対してピボットなしQR分解を適用し、列空間の基底を抽出する。
• A = U R V* の形でURV分解を構築する。ここでUは正規直交列を有し、Rは上三角行列、Vは直交行列である。
• PowerURVとRSVDの等価性を活用し、理論的収束保証を継承する。
• 行列-行列乗算とピボットなしQR分解のみを用いることで、レベル3 BLASカーネルによる現代のハードウェアでの高性能を実現する。
• パワー反復によりUの先頭列が主成分の特異ベクトルと一致するようにすることで、ランクを明らかにする性質を保証する。

実験結果

リサーチクエスチョン

• RQ1 ランダム化アルゴリズムは、フルSVDのコストより著しく低い計算コストで、近似的に最適な低ランク近似を達成できるか？
• RQ2 CPQR、フルSVD、およびQLP法と比較して、PowerURVアルゴリズムの精度と速度はどの程度か？
• RQ3 ランクを明らかにする分解の文脈において、パワー反復はランダム化基底の品質をどの程度向上させるか？
• RQ4 レベル3 BLAS演算のみを用いても、高精度を維持したまま、ランクを明らかにする分解を効率的に計算できるか？
• RQ5 近似品質と計算コストの観点から、PowerURVとランダム化SVD（RSVD）の関係はいかなるものか？

主な発見

• PowerURVは、特に数値ランクが行列次元と顕著に小さい場合でない限り、フルSVDの計算コストよりも著しく低いコストで、近似的に最適な低ランク近似を達成する。
• 実際の応用では、RSVDと同等の精度を達成するが、RSVDは追加の1回の行列-ベクトル乗算によりわずかにPowerURVを上回る。
• 数値実験の結果、CPQRよりもランクを明らかにする品質が優れており、CPQRが許容されない極めて悪い近似が生じる可能性があるのを回避している。
• レベル3 BLAS演算に依存しているため、現代のハードウェアでも非常に効率的であり、高い計算スループットを実現している。
• PowerURV分解により、任意のランクで切り詰め可能な単一でコンactな分解を通じて、高品質な低ランク近似が可能である。
• PowerURVとRSVDの理論的等価性により、特にパワー反復を用いる場合、強力な収束性が保証される。