[論文レビュー] Fast Monte-Carlo Low Rank Approximations for Matrices

Shmuel Friedland, M. Kaveh+2 more|ArXiv.org|Oct 26, 2005

Scientific Research and Discoveries参考文献 4被引用数 4

ひとこと要約

この論文は、大きな行列の高速で反復的な低ランク近似を、行または列のランダムサンプリングを用いて行うモンテカルロアルゴリズムを提案する。$O(k)$の追加の行または列を反復的に更新することで、フロベニウスノルムにおいて単調な改善を保証し、$O(kmn)$の計算量を達成する。これは、大規模な行列において標準的なSVDを著しく上回り、わずか数回の反復で近似的に最適な低ランク近似に収束する。

ABSTRACT

In many applications, it is of interest to approximate data, given by mxn matrix A, by a matrix B of at most rank k, which is much smaller than m and n. The best approximation is given by singular value decomposition, which is too time consuming for very large m and n. We present here a Monte Carlo algorithm for iteratively computing a k-rank approximation to the data consisting of mxn matrix A. Each iteration involves the reading of O(k) of columns or rows of A. The complexity of our algorithm is O(kmn). Our algorithm, distinguished from other known algorithms, guarantees that each iteration is a better k-rank approximation than the previous iteration. We believe that this algorithm will have many applications in data mining, data storage and data analysis.

研究の動機と目的

• データ分析やデータマイニングの応用において、非常に大きな$m \times n$行列の完全なSVDが計算的に不可能である問題に対処すること。
• 各更新で低ランク近似の品質が向上する反復的アルゴリズムを開発し、近似品質における単調収束を保証すること。
• $k$ランク近似の計算コストを$O(mn \min(m,n))$から$O(kmn)$に低減させつつ、高い正確性を維持すること。
• 特に高次元データの設定において、決定的SVDでは処理が不可能なほど大きな行列に対しても、実用的な低ランク近似の計算を可能にすること。

提案手法

• アルゴリズムは、入力行列$A$から$l = O(k)$の行または列を繰り返しサンプリングし、現在の$k$ランク近似$B$を更新する。
• 各反復で、$(k+l) \times (k+l)$の対称行列のスペクトル分解を計算して近似を精緻化する。
• 更新プロセスにより、フロベニウスノルム$\|B\|_F$が単調に増加することが保証され、各ステップで改善が得られる。
• 行列乗算を$k$次元のベクトルと$A^T$または$A$に対して行い、パラレライゼーションによって性能向上を図る。
• サンプリング戦略には、復元あり・復元なしの均等サンプリング、および画像データにおける行勾配に基づく重み付きサンプリングが含まれる。
• $\|B\|_F$の増加を停止基準として用い、最適な$k$ランク近似への収束を示す。

実験結果

リサーチクエスチョン

• RQ1 ランダム化された反復的アルゴリズムは、大規模な行列の低ランク近似品質において、単調な改善を保証できるか？
• RQ2 $k$ランク近似の計算量を$O(mn \min(m,n))$未満に低減させつつ、高い正確性を維持するにはどうすればよいか？
• RQ3 復元あり・復元なし、重み付きのどのサンプリング戦略が、最適な低ランク近似への収束を最も速くするか？
• RQ4 標準的なSVDでは処理が不可能な行列、例えば$8000 \times 200$の行列に対しても、このアルゴリズムはスケーラブルか？
• RQ5 スピードと正確性の観点から、反復的更新フレームワークは、非反復的ランダム化SVD手法をどの程度上回るか？

主な発見

• 合成データおよび実際の画像データの両方で、相対誤差が理論的最小値に近づくように収束することが示された。
• ランク500の$3000 \times 500$の合成行列に対して、約5回の反復で相対誤差が最適誤差の1%未満に収束した。
• CameramanおよびLiftingbody画像では、サンプリングに使用したデータのわずか一部で、相対誤差比がそれぞれ1.083および1.08にまで達した。
• $k=100$の$8000 \times 200$のランダム行列に対しては、決定的SVDに比べて42倍の高速化を達成し、最適値からの相対誤差は10%未満に保った。
• 4つの異なるデータセットで、それぞれ1.145、8、3.33、42の高速化を達成し、相対誤差比は常に1.1未満で安定した。
• 復元なしのサンプリングの方が、復元ありのものよりも収束が速く、理論的予想を裏付ける結果となった。