[論文レビュー] True BLAS-3 Performance QRCP using Random Sampling

Jed A. Duersch, Ming Gu|arXiv (Cornell University)|Sep 23, 2015

Stochastic Gradient Optimization Techniques被引用数 7

ひとこと要約

本稿では、BLAS-3演算とサンプルベースの列ノルム近似を用いた確率的で通信を回避するQRCPアルゴリズムを提案する。これにより、近傍ピvォットなしQRに近い性能を達成すると同時に、従来のQRCPと同等の精度を維持する。コストの高いトレーリング行列更新を回避し、サンプル更新式を導入することで、共有メモリシステム上で強力な並列性能を示す高速かつスケーラブルな切断SVDおよび低ランク近似が可能になる。

ABSTRACT

The dominant contribution to communication complexity in factorizing a matrix using QR with column pivoting is due to column-norm updates that are required to process pivot decisions. We use randomized sampling to approximate this process which dramatically reduces communication in column selection. We also introduce a sample update formula to reduce the cost of sampling trailing matrices. Using our column selection mechanism we observe results that are comparable to those obtained from the QRCP algorithm, but with performance near unpivoted QR. We also demonstrate strong parallel scalability on shared memory multiple core systems using an implementation in Fortran with OpenMP. This work immediately extends to produce low-rank truncated approximations of large matrices. We propose a truncated QR factorization with column pivoting that avoids trailing matrix updates which are used in current implementations of BLAS-3 QR and QRCP. Provided the truncation rank is small, avoiding trailing matrix updates reduces approximation time by nearly half. By using these techniques and employing a variation on Stewart's QLP algorithm, we develop an approximate truncated SVD that runs nearly as fast as truncated QR.

研究の動機と目的

• ピボット選択中に頻繁に行われる列ノルム更新に起因するQRCP因子分解における通信オーバーヘッドを低減すること。
• ピボットなしQRに近い性能を達成しつつ、列ピボットQRの数値的安定性と精度を維持すること。
• BLAS-3 QRおよびQRCPにおける高価なトレーリング行列更新を排除することで、切断行列因子分解の高速化を図ること。
• OpenMPとFortranを用いて、共有メモリマルチコアアーキテクチャ上で強力な並列スケーラビリティを達成すること。
• 提案されたサンプリングベースのQRCPを活用した、変更を加えたQLPアルゴリズムを用いた効率的な切断SVDの開発。

提案手法

• 列ノルムの近似に確率的サンプリングを用い、高価な逐次的更新をバッチ処理されたBLAS-3最適化演算に置き換える。
• トレーリング行列更新中にサンプリング情報の維持に効率的なサンプル更新式を導入し、計算コストを低減する。
• スチュアートのQLPアルゴリズムの修正版を採用し、最小限のオーバーヘッドで近似された切断SVDを構築する。
• 完全なトレーリング行列更新を回避するように切り捨てられたQR因子分解を設計し、低ランク近似における計算時間を著しく短縮する。
• OpenMPを用いてFortranで実装し、共有メモリシステム上で強力な並列スケーラビリティを実現する。
• 本手法を適用して、ピボットなしQRに近い性能を達成しつつQRCPレベルの精度を維持する低ランク行列近似を生成する。

実験結果

リサーチクエスチョン

• RQ1 QRCPにおける列ノルムの近似に確率的サンプリングを用いることで、通信コストを低減しつつ精度を損なわずに実現可能か？
• RQ2 BLAS-3 QRおよびQRCPにおいて、トレーリング行列更新をどの程度回避できるか？ これにより、切断因子分解がどの程度高速化されるか？
• RQ3 本手法は、低ランク近似タスクにおいて、標準的なQRCPおよびピボットなしQRと比較して、性能と精度でどの程度優れているか？
• RQ4 本アルゴリズムは、共有メモリマルチコアシステム上で高いパフォーマンスを維持しつつ、強力な並列スケーラビリティを達成できるか？
• RQ5 切り捨てランクが小さい場合に、本手法による切断SVDは、既存の手法に比べてどの程度のパフォーマンス向上を達成するか？

主な発見

• 提案手法は、ピボットなしQRに近いパフォーマンスを達成しつつ、従来のQRCPと同等の精度を維持し、通信コストを顕著に低減した。
• 切り捨てQRにおいてトレーリング行列更新を回避することで、切り捨てランクが小さい場合に近似的な処理時間をほぼ半減できた。
• サンプル更新式は、因子分解中にサンプリング情報の維持にかかるコストを効果的に低減し、効率的な計算を可能にした。
• 実装は、OpenMPとFortranを用いて、共有メモリマルチコアシステム上で強力な並列スケーラビリティを示した。
• 得られた近似された切断SVDは、切り捨てQRとほぼ同等の速度で実行され、効率的な低ランク行列近似を可能にした。
• 本手法は、大規模なデータ解析に適した、高性能で通信を回避する行列因子分解を実現した。