[論文レビュー] PRIMME_SVDS: A High-Performance Preconditioned SVD Solver for Accurate Large-Scale Computations

Lingfei Wu, Eloy Romero+1 more|arXiv (Cornell University)|Jul 5, 2016

Matrix Theory and Algorithms参考文献 34被引用数 6

ひとこと要約

PRIMME_SVDS は、大規模なスパース行列における極端な特異値三つ組を少数計算するための高性能でプリコンディショニング付きの特異値分解（SVD）ソルバーである。2段階の反復法と PRIMME固有値ソルバー・フレームワークを用いたプリコンディショニングを組み合わせることで、特に最小特異値や悪条件問題において、PROPACK や SLEPc よりも優れた精度と速度を達成している。

ABSTRACT

The increasing number of applications requiring the solution of large scale singular value problems have rekindled interest in iterative methods for the SVD. Some promising recent ad- vances in large scale iterative methods are still plagued by slow convergence and accuracy limitations for computing smallest singular triplets. Furthermore, their current implementations in MATLAB cannot address the required large problems. Recently, we presented a preconditioned, two-stage method to effectively and accurately compute a small number of extreme singular triplets. In this research, we present a high-performance software, PRIMME SVDS, that implements our hybrid method based on the state-of-the-art eigensolver package PRIMME for both largest and smallest singular values. PRIMME SVDS fills a gap in production level software for computing the partial SVD, especially with preconditioning. The numerical experiments demonstrate its superior performance compared to other state-of-the-art software and its good parallel performance under strong and weak scaling.

研究の動機と目的

• 最小特異値三つ組の計算に特化した、信頼性が高く高性能なソフトウェアの不足に対処する。
• 悪条件や固有値が密集したスペクトルを示す問題において、既存の反復的SVD法の収束遅延と精度の問題を克服する。
• プリコンディショニングを活用することで、実世界の応用に不可欠な大規模SVD計算を効率的に行えるようにする。
• 共有メモリおよび分散メモリをサポートする、生産用途に耐える多言語ライブラリ（C, MATLAB, Python, R）を提供する。
• PROPACK や SLEPc といった最先端のパッケージと比較して、優れたパフォーマンスとスケーラビリティを示すことを実証する。

提案手法

• 元々固有値問題を目的として開発された2段階の PHSVDS 法を、同等の固有値定式化を用いてプリコンディショニング付きのSVDソルバーに変換する。
• 正規方程式形式（A^T A）と拡張系（A^T A; A）を用いて特異値三つ組を解き、数値的安定性に基づいてヒューリスティックに両者を切り替える。
• PRIMME フレームワークを統合し、高度なKrylov部分空間法（例：JDQR, JDQMR, GMRES）およびプリコンディショニング技術を活用する。
• ハイブリッド戦略を実装：第1段階ではプリコンディショニング付き反復法（例：GD+k, JDQMRETol）を用いて収束を加速し、第2段階では解を精緻化する。
• 対称行列と非対称行列の両方をサポートし、2つの定式化間で自動的に切り替えることで、より高いロバストネスを実現する。
• 単一メモリおよび分散メモリ並列処理をサポートする柔軟なインターフェースを提供し、librsb および Elemental を介して最適化された行列-ベクトル積を実装する。

実験結果

リサーチクエスチョン

• RQ1 プリコンディショニング付きの2段階反復的SVD法は、大規模問題における最小特異値三つ組の計算において、高い精度とパフォーマンスを両立できるか？
• RQ2 PRIMME_SVDS は、PROPACK や SLEPc と比較して、大規模で悪条件の行列において収束速度、精度、スケーラビリティの点で優れているか？
• RQ3 プリコンディショニングは、SVD計算における収束性の向上と行列-ベクトル積の削減にどの程度寄与するか？
• RQ4 既存の固有値ソルバー・フレームワーク（PRIMME）の上に、複数のプログラミング言語と並列アーキテクチャをサポートする生産用途に耐えるSVDライブラリを構築できるか？
• RQ5 正規方程式形式と拡張系形式の間でのヒューリスティックな切り替えは、多様な問題タイプにわたるロバストネスの維持にどの程度効果的か？

主な発見

• PRIMME_SVDS は、特に最小特異値三つ組や悪条件行列において、PROPACK や SLEPc よりも高速かつロバストであることが示された。
• プリコンディショニングにより、cage15 や atmosmodl などの行列において、非プリコンディショニング法と比較して行列-ベクトル積を最大90％、実行時間を最大90％削減した。
• LargeRegFile 行列において、同じ停止基準を用いた場合、PRIMME_SVDS は libskylark の CondEst 機能と比較して12倍の高速化を達成した。
• librsb を用いた行列-ベクトル積の実装は、Elemental を用いた場合と比較して2倍の高速化をもたらし、最適化されたカーネルの重要性を示した。
• 分散メモリシステムにおいて、PRIMME_SVDS は強スケーリングおよび弱スケーリングの両方を示し、大規模HPC環境への適性を確認した。
• 相対許容誤差 0.1 の条件下で高い精度を達成し、libskylark が使用する確率的で小さな誤差基準よりも信頼性の高い停止基準を実現した。