[論文レビュー] Subspace Iteration Randomization and Singular Value Problems

Ming Gu|arXiv (Cornell University)|Aug 10, 2014

Stochastic Gradient Optimization Techniques参考文献 58被引用数 5

ひとこと要約

本論文は、特異値が急速に減少する行列に対して特に効果的で、高い確率で高精度な低ランク行列近似および特異値計算を達成する確率的部分空間反復フレームワークを導入する。この手法はランクを明示する近似を生成し、行列の2ノルムを信頼性高く推定できることを証明しており、確率的アルゴリズムの効率性と部分空間反復の高速収束性を組み合わせている。

ABSTRACT

A classical problem in matrix computations is the efficient and reliable approximation of a given matrix by a matrix of lower rank. The truncated singular value decomposition (SVD) is known to provide the best such approximation for any given fixed rank. However, the SVD is also known to be very costly to compute. Among the different approaches in the literature for computing low-rank approximations, randomized algorithms have attracted researchers' recent attention due to their surprising reliability and computational efficiency in different application areas. Typically, such algorithms are shown to compute with very high probability low-rank approximations that are within a constant factor from optimal, and are known to perform even better in many practical situations. In this paper, we present a novel error analysis that considers randomized algorithms within the subspace iteration framework and show with very high probability that highly accurate low-rank approximations as well as singular values can indeed be computed quickly for matrices with rapidly decaying singular values. Such matrices appear frequently in diverse application areas such as data analysis, fast structured matrix computations and fast direct methods for large sparse linear systems of equations and are the driving motivation for randomized methods. Furthermore, we show that the low-rank approximations computed by these randomized algorithms are actually rank-revealing approximations, and the special case of a rank-1 approximation can also be used to correctly estimate matrix 2-norms with very high probability. Our numerical experiments are in full support of our conclusions.

研究の動機と目的

• データ解析や科学計算で一般的な大規模行列を対象として、計算的に効率的かつ信頼性の高い低ランク行列近似手法を開発すること。
• 確率的アルゴリズムの計算的利点と部分空間反復の高速収束性を統合し、性能を向上させること。
• 最適な結果の定数倍以内の誤差で近似を計算できることを示す厳密な誤差バインディングを確立すること。
• 計算された低ランク近似がランクを明示することを証明し、行列の2ノルムを正確に推定できることを示すこと。
• 理論的予測を数値実験により検証し、強力な経験的性能を示すこと。

提案手法

• 低ランク近似の収束を加速するために、確率的サンプリングと部分空間反復フレームワークを統合する。
• 入力行列を低次元部分空間に射影するために、標準ガウス確率的行列を用い、主要な特異部分空間を保持する。
• 射影された行列に対してパワー反復を適用し、範囲空間を主要な左特異ベクトルと整合させる。
• 射影された行列に対して確率的SVDを適用し、効率的に上位k個の特異値と特異ベクトルを抽出する。
• 特異値の減少率に基づく確率的バインディングを用いて誤差を分析し、高い確率での精度を示す。
• 理論的保証を導出し、得られる近似がランクを明示するものであり、行列の2ノルムが高信頼性で推定できることを示す。

実験結果

リサーチクエスチョン

• RQ1 特異値が急速に減少する行列に対して、確率的部分空間反復は、高い確率で低ランク近似の精度を達成できるか？
• RQ2 提案手法は、標準的な確率的SVDおよび古典的部分空間反復と比較して、精度と効率の面で優れているか？
• RQ3 確率的部分空間反復はランクを明示する近似を生成するか？どのような条件下でそうなるか？
• RQ4 この手法を用いて、近似から得られる最大特異値のみを用いて、行列の2ノルムを高い確率で推定できるか？
• RQ5 近似の理論的誤差バインディングは何か？また、最適な切り捨てSVDとどのように関係しているか？

主な発見

• 本手法は、非常に高い確率で、最適な切り捨てSVDの定数倍以内の誤差で低ランク近似を計算する。
• 特異値が急速に減少する行列に対しては、近似誤差が速やかに収束し、パワー反復回数が少なめでも非常に高精度になる。
• 計算された低ランク近似はランクを明示しており、主要な特異部分空間の構造を保持している。
• 本手法により得られるランク1近似は、行列の2ノルムを高い確率で推定でき、条件数推定にとって重要である。
• 数値実験により理論的予測が確認され、標準的な確率的SVDと比較して、精度と速度の両面で優れた性能を示した。
• 行列のランクがフルでない場合でも、解析における連続性の議論により、理論的保証が維持される。