[論文レビュー] RSVDPACK: An implementation of randomized algorithms for computing the singular value, interpolative, and CUR decompositions of matrices on multi-core and GPU architectures

Sergey Voronin, Per‐Gunnar Martinsson|arXiv (Cornell University)|Feb 18, 2015

Stochastic Gradient Optimization Techniques参考文献 3被引用数 27

ひとこと要約

RSVDPACK は、マルチコア CPU および GPU における効率的な低ランク行列分解（SVD、挿入的分解（ID）、CUR）を実装するオープンソースの C ライブラリです。主に最適化された行列同士の積に変換することで、特に GPU において従来手法と比較して顕著な高速化を達成しています。固定ランクおよび許容誤差ベースの因子分解をサポートしており、科学計算およびデータ分析における高いパフォーマンスとスケーラビリティを実現しています。

ABSTRACT

RSVDPACK is a library of functions for computing low rank approximations of matrices. The library includes functions for computing standard (partial) factorizations such as the Singular Value Decomposition (SVD), and also so called "structure preserving" factorizations such as the Interpolative Decomposition (ID) and the CUR decomposition. The ID and CUR factorizations pick subsets of the rows/columns of a matrix to use as bases for its row/column space. Such factorizations preserve properties of the matrix such as sparsity or non-negativity, are helpful in data interpretation, and require in certain contexts less memory than a partial SVD. The package implements highly efficient computational algorithms based on randomized sampling, as described and analyzed in [N. Halko, P.G. Martinsson, J. Tropp, "Finding structure with randomness: Probabilistic algorithms for constructing approximate matrix decompositions," SIAM Review, 53(2), 2011], and subsequent papers. This manuscript presents some modifications to the basic algorithms that improve performance and ease of use. The library is written in C and supports both multi-core CPU and GPU architectures.

研究の動機と目的

• 従来の SVD や QR 手法を上回る計算速度を実現する、高性能でスケーラブルな低ランク行列因子分解ライブラリの開発。
• 固定ランクおよび許容誤差ベースの因子分解をサポートし、データ解析および科学計算における適応的精度制御を可能にする。
• 特に大規模行列に対して計算コストと通信オーバーヘッドを低減するため、ランダムサンプリングを活用する。
• 最適化された BLAS および GPU 加速ライブラリを用いて、マルチコア CPU および GPU における効率的実装を提供する。
• スパarsity や非負性といった構造的性質を保つ構造保存因子分解（例：ID や CUR）を実装する。

提案手法

• コアアルゴリズムは、ガウスランダム行列との行列積によりスケッチ行列を構築するランダムサンプリングを用い、問題のスケールを小さく管理可能なサイズに縮小する。
• スケッチ行列に対して QR 因子分解を実行し、正規直交基底を取得した後、小さな行列に対する SVD を実行して主要モードを抽出する。
• 最終的な低ランク近似は、正規直交基底と SVD の結果を用いて再構築され、最小限の誤差で高い精度を達成する。
• 特異値がゆっくり減衰する行列やノイズの多いデータに対して、精度を向上させるためにブロックランダム化バージョンが用いられる。
• 実装は、CPU および GPU において高並列性を示す最適化された行列同士の積カーネルに大きく依存している。
• 既存の科学的ワークフローへの容易な統合を可能にするために、MATLAB MEX インターフェースを提供しており、密行列および将来の疎行列操作をサポートする。

実験結果

リサーチクエスチョン

• RQ1 マルチコアおよび GPU アーキテクチャ上で、低ランク行列因子分解を効率的に実装するためのランダム化アルゴリズムはどのように設計できるか？
• RQ2 従来の SVD や QR を、行列同士の積に基づくランダム化手法に置き換えることで、どの程度のパフォーマンス向上が達成できるか？
• RQ3 構造保存因子分解（例：ID や CUR）は、解釈可能性とスパarsity を維持しつつ、競争力のある精度と速度を達成できるか？
• RQ4 許容誤差ベースの因子分解が、固定ランク手法と比較して実世界のデータ解析における使いやすさをどのように向上させるか？
• RQ5 スパース値がゆっくり減衰する行列に対して、ブロックランダム化サンプリングの導入が精度に与える影響は何か？

主な発見

• 6000×12000 の密行列において、RSVDPACK の GPU 加速ランダム化 SVD は、フル SVD や QR よりも著しく短い実行時間を達成した。これは GPU 上での行列同士の積が高度に最適化されているためである。
• ブロックランダム化 QB ベース手法は、標準のランダム化 SVD よりも遅いが、許容誤差ベースの因子分解を可能にし、ユーザーが固定ランクではなく誤差境界を指定できる。
• RSVDPACK の MATLAB MEX インターフェースは、PROPACK の lansvd 関数よりも顕著な高速化を示し、特に k=100、300、500 のような大きなランクにおいて顕著であった。
• GPU 上での行列同士の積は CPU より最大 10 倍速く、この性能差がすべてのランダム化アルゴリズムの因子分解時間の短縮に直接反映された。
• 主に BLAS 最適化された行列同士の積に計算を変換することで、RSVDPACK は高いスケーラビリティを達成し、通信コストを低減した。これらの演算は現代のハードウェアで良好に並列化可能である。
• ライブラリは密行列および将来の疎行列操作をサポートしており、分散メモリシステムへの対応および GPU パフォーマンスの強化を継続的に開発中である。