[論文レビュー] Fast & Accurate Randomized Algorithms for Linear Systems and Eigenvalue Problems

Yuji Nakatsukasa, Joel A. Tropp|arXiv (Cornell University)|Oct 29, 2021

Stochastic Gradient Optimization Techniques参考文献 49被引用数 4

ひとこと要約

本稿では、GMRES やレイリー＝リッツ法などの部分空間射影法とランダム化スケッチを組み合わせることで、線形方程式系および固有値問題を高速かつ高精度に解くためのアルゴリズムを提案する。この手法により、効率的に構築可能な近似部分空間を用いることで計算を高速化し、MATLAB の gmres よりも最大100倍、eigs よりも10倍の高速化を達成しつつ、精度の損失は最小限に抑えられる。

ABSTRACT

This paper develops a new class of algorithms for general linear systems and eigenvalue problems. These algorithms apply fast randomized sketching to accelerate subspace projection methods, such as GMRES and Rayleigh--Ritz. This approach offers great flexibility in designing the basis for the approximation subspace, which can improve scalability in many computational environments. The resulting algorithms outperform the classic methods with minimal loss of accuracy. For model problems, numerical experiments show large advantages over MATLAB's optimized routines, including a $100 imes$ speedup over gmres and a $10 imes$ speedup over eigs.

研究の動機と目的

• 一般非対称線形方程式系および固有値問題に対するスケーラブルで高精度なランダム化アルゴリズムの不足を補う。
• GMRES などの古典的 Krylov 部分空間法が数10回の反復後に高コストの直交化処理に直面する計算ボトルネックを克服する。
• 近似部分空間の構築を高速化しつつ解の精度を維持できる柔軟なフレームワークを開発する。
• 通信コストが支配的となる現代の高性能並列および分散コンピューティング環境での効率的計算を可能にする。
• 適応的基底とスケッチを組み合わせることで高精度な結果が得られることを示すことで、プリコンディショニングおよび基底生成の新たな視点を提供する。

提案手法

• GMRES やレイリー＝リッツ法などの部分空間射影法にランダム化スケッチを適用し、完全直交化をスケッチに基づく近似に置き換える。
• 次元を低減するため、s = 2d のスケッチ行列 S ∈ ℂ^{s×n} を用い、残差最小化問題をより小さいスケッチされた最小二乗問題に置き換える。
• スケッチされた GMRES (sGMRES) およびスケッチされたレイリー＝リッツ (sRR) 問題を、||S(AB y − f)||₂ を最小化する形で定式化する。ここで B は近似部分空間の基底行列である。
• SRFT やスパース写像などの高速スケッチ行列を活用し、スケッチと解法に O(nd log d) の計算量を実現する。これにより、高価な全行列演算を回避する。
• スケッチを低ランク行列近似に統合し、Â_sketch = AB (SAB)† (SA) の公式を用いることで、O(d³ + (m+n)d log d) の計算量で安定的かつ効率的な計算を実現する。
• ランダムな基底の代わりに、ブロック Krylov や部分空間反復から得られる適応的基底 B を用いることで、ランダム化部分空間反復やブロック Krylov 法と同等の精度を達成する。

実験結果

リサーチクエスチョン

• RQ1 GMRES やレイリー＝リッツ法などの部分空間射影法とランダム化スケッチを効果的に組み合わせることで、一般線形方程式系の解法が高速化可能か？
• RQ2 ランダム基底の代わりに適応的基底 B を用いることで、スケッチベースのソルバーの精度と効率性はどのように変化するか？
• RQ3 Krylov 部分空間法の計算コストを、解の精度を損なわずどの程度低減できるか？
• RQ4 スケッチは、分散環境や GPU 加速環境におけるスケーラブルで通信効率の良い実装を可能にするか？
• RQ5 特に、切断または不正確な基底を用いた場合に、得られるアルゴリズムの数値的安定性および条件数の性質はいかなるものか？

主な発見

• 提案された sGMRES および sRR アルゴリズムは、モデル問題において MATLAB の組み込み gmres ルーチンよりも最大100倍の高速化を達成し、残差の精度は同等である。
• sRR アルゴリズムは、MATLAB の eigs 関数よりも10倍の高速化を達成しながら、標準的手法と同等の解の精度を維持している。
• ブロック Krylov や部分空間反復から得られる適応的基底 B をスケッチフレームワークに組み込むことで、ランダム化部分空間反復やブロック Krylov 法と同等の行列近似誤差が得られる。
• この手法により、古典的 GMRES が約10〜50反復後に直交化のボトルネックに直面するのとは異なり、数千回の sGMRES 反復が可能になる。
• 通信量とメッセージパッシングのオーバーヘッドが少ないため、GPU や分散システムを含む現代のアーキテクチャでも効率的な実装が可能である。
• 理論的保証により、基底が良い近似解を捉えている限り、スケッチされた解の残差ノルムが元の問題の残差ノルムの定数倍（≤6倍）以内に収束することが保証される。