[論文レビュー] RSVDPACK: Subroutines for computing partial singular value decompositions via randomized sampling on single core, multi core, and GPU architectures

Sergey Voronin, Per‐Gunnar Martinsson|arXiv (Cornell University)|Feb 18, 2015

Stochastic Gradient Optimization Techniques参考文献 2被引用数 27

ひとこと要約

RSVDPACK は、単一コア CPU、マルチコア CPU、GPU における部分特異値分解（SVD）を計算するための最適化され、ハードウェアに特化したランダム化アルゴリズムを実装しています。Halko 他（2011）のランダム化 SVD フレームワークを採用することで、多様なアーキテクチャにおいて、低ランク行列近似の高パフォーマンスかつ高精度を実現しています。

ABSTRACT

This document describes an implementation in C of a set of randomized algorithms for computing partial Singular Value Decompositions (SVDs). The techniques largely follow the prescriptions in the article Finding structure with randomness: Probabilistic algorithms for constructing approximate matrix decompositions, N. Halko, P.G. Martinsson, J. Tropp, SIAM Review, 53(2), 2011, pp. 217-288, but with some modifications to improve performance. The codes implement a number of low rank SVD computing routines for three different sets of hardware: (1) single core CPU, (2) multi core CPU, and (3) massively multicore GPU.

研究の動機と目的

• 現代の異種コンピューティングアーキテクチャに特化した高パフォーマンスな部分 SVD アルゴリズムの実装を開発すること。
• Halko 他（2011）のランダム化 SVD フレームワークを、実用的デプロイメントに向けたパフォーマンス最適化を施した拡張を行うこと。
• 個別のハードウェアターゲット用のコードパスを提供することで、単一コア、マルチコア CPU、GPU システムにおける効率的な低ランク行列近似を支援すること。
• 多様な計算プラットフォームで精度、速度、ポータビリティのバランスをとったプロダクションレベルのソフトウェアパッケージを提供すること。

提案手法

• Halko 他（2011）のランダム化 SVD アルゴリズムフレームワークを採用し、ランダムプロジェクションを用いて低次元部分空間を特定する。
• 入力行列の範囲とその転置行列の範囲を安定した低ランク近似のために、両側ランダムプロジェクション戦略を採用する。
• パフォーマンスを最大化するために、単一コア、マルチコア CPU、GPU 実行に特化した最適化を導入する。
• 主な特異値と特異ベクトルに焦点を当てることで、SVD の計算コストを削減するため、ランダムサンプリングを用いる。
• 特に特異値がゆっくりと減衰する行列においては、必要に応じて精度を向上させるためのパワー反復リファイニングステップを実装する。
• 各ハードウェアターゲット用に別々のカーネルを備えたモジュラーデザインの C ベースソフトウェアインターフェースを提供し、効率的なメモリアクセスと並列処理を実現する。

実験結果

リサーチクエスチョン

• RQ1 ランダム化 SVD アルゴリズムは、どのように単一コア、マルチコア CPU、GPU アーキテクチャで効率的に実行可能になるか？
• RQ2 標準のランダム化 SVD フレームワークにどのような変更を加えると、精度を損なわずに顕著なパフォーマンス向上が得られるか？
• RQ3 部分 SVD 計算において、RSVDPACK 実装のパフォーマンスは、異なるハードウェアプラットフォームでどのようにスケーリングするか？
• RQ4 低ランク行列分解において、ランダムサンプリングを用いる場合、計算効率と近似精度のトレードオフはどのように変化するか？

主な発見

• RSVDPACK は、アーキテクチャに応じたコード最適化により、単一コア CPU、マルチコア CPU、GPU すべてのターゲットアーキテクチャで高パフォーマンスを達成している。
• 従来の決定的 SVD 法と比較して、計算コストを低減した正確な部分 SVD を実装している。
• ランダムサンプリングにより、大規模行列においてフル SVD が非現実的となるような状況でも、効率的な低ランク近似が可能である。
• マルチコアおよび GPU システムにおいて、強力なスケーラビリティを示しており、大規模行列では標準 SVD ルーチンよりも顕著な高速化が達成されている。
• パワー反復リファイニングの活用により、特異値がクラスタリングされている、またはゆっくりと減衰する行列の精度が向上している。
• モジュラーデザインにより、異種システムへのシームレスなデプロイが可能であり、高いパフォーマンスと数値的安定性を維持している。