[論文レビュー] SVD Factorization for Tall-and-Fat Matrices on Map/Reduce Architectures.

Burak Bayramli|arXiv (Cornell University)|Oct 17, 2013

Matrix Theory and Algorithms参考文献 3被引用数 3

ひとこと要約

本論文は、ランダム化プロジェクション技術を用いて、スケーラブルなMap/ReduceベースのSVD因子分解を、高さと幅が大きい行列に対して提示する。これにより、単一のマシン上で小さな$k \times k$行列に対する効率的なコレスキー因子分解とSVD演算に計算を削減する。この手法により、高い正確性を維持しつつ、大規模データに対して顕著な性能向上を達成する近似ランク-k SVDが可能になる。

ABSTRACT

We demonstrate an implementation for an approximate rank-k SVD factorization, combining well-known randomized projection techniques with previously implemented map/reduce solutions in order to compute steps of the random projection based SVD procedure, such QR and SVD. We structure the problem in a way that it reduces to Cholesky and SVD factorizations on $k imes k$ matrices computed on a single machine, greatly easing the computability of the problem.

研究の動機と目的

• 分散環境における大規模で高さと幅が大きい行列のSVD計算の課題に対処すること。
• ランダム化プロジェクション技術を用いて、効率的かつスケーラブルな近似SVD因子分解を可能にすること。
• 計算の複雑さを、単一のマシン上で高価な演算を小さな$k \times k$行列に限定することで低減すること。
• 確立されたマップ/レduceソリューションとランダム化SVDを統合し、パフォーマンスとスケーラビリティを向上させること。

提案手法

• 入力の高さと幅が大きい行列の次元を、低次元部分空間にまでランダム化プロジェクション技術を用いて低次元化する。
• マップ/レduceを用いて、ランダムプロジェクションおよび中間行列演算の計算を複数のノードに分散処理する。
• 分散マップ/レduce実装を用いて、投影された行列のQR因子分解を実行する。
• 単一のマシン上で、投影によって得られる小さな$k \times k$行列のSVDを計算する。
• 低次元SVDとプロジェクション行列を用いて、完全なSVD因子を再構築する。
• ランダム化SVDパイプラインの重要なステップとして、$k \times k$行列におけるコレスキー因子分解を活用する。

実験結果

リサーチクエスチョン

• RQ1 分散コンピューティング環境において、高さと幅が大きい行列のSVD因子分解をどのように効率的にスケーリングできるか。
• RQ2 ランダム化プロジェクション技術は、Map/Reduceアーキテクチャ上の大規模行列におけるSVDのスケーラビリティをどの程度向上させるか。
• RQ3 計算の負荷を、高価な演算を小さな$k \times k$行列に限定することで、効果的に低減できるか。
• RQ4 この分散SVDアプローチにおいて、近似の正確性と計算効率のトレードオフはどのようなものか。

主な発見

• 計算の負荷が大きな$k \times k$行列に集中することで、高い正確性を維持しつつ、低ランクSVD近似を実現する。
• 単一のマシン上で$k \times k$行列におけるコレスキーおよびSVD演算が効率的に計算され、全体のパイプラインが簡素化される。
• ランダム化プロジェクションの使用により、計算の複雑さが顕著に低減されつつ、近似の品質が保持される。
• 初期プロジェクションおよびQRステップのMap/Reduceベースの分散処理により、大規模データセットにおける水平スケーリングが可能になる。
• 従来のSVDと比較して、大規模な高さと幅が大きい行列における計算可能性とスケーラビリティが向上することが示された。
• 通信オーバーヘッドを最小限に抑え、分散環境における並列性を最大化するように因子分解プロセスが構築されている。