[論文レビュー] Low synchronization GMRES algorithms

Kasia Świrydowicz, Julien Langou+3 more|arXiv (Cornell University)|Sep 16, 2018

Matrix Theory and Algorithms参考文献 19被引用数 4

ひとこと要約

本稿では、修正グラム・シュミット（MGS）および古典的グラム・シュミット（CGS）直交化に基づく低同期化GMRESアルゴリズムを提案する。コン pact WY 形式における遅延正規化を用いることで、各反復でグローバルリダクションをたった1回に削減する。この手法は、O(εκ(A))の直交性損失を伴う後方安定性を達成し、HypreのBLAS-1 MGS-GMRESに対してGPUで最大35倍の高速化を実現する。これにより、通信オーバーヘッドを低減し、スケーラブルなエクサスケール性能が可能になる。

ABSTRACT

Communication-avoiding and pipelined variants of Krylov solvers are critical for the scalability of linear system solvers on future exascale architectures. We present low synchronization variants of iterated classical (CGS) and modified Gram-Schmidt (MGS) algorithms that require one and two global reduction communication steps. Derivations of low synchronization iterated CGS algorithms are based on previous work by Ruhe. Our main contribution is to introduce a backward normalization lag into the compact $WY$ form of MGS resulting in a ${\cal O}(\eps)κ(A)$ stable GMRES algorithm that requires only one global synchronization per iteration. The reduction operations are overlapped with computations and pipelined to optimize performance. Further improvements in performance are achieved by accelerating GMRES BLAS-2 operations on GPUs.

研究の動機と目的

• エクサスケールアーキテクチャにおけるKrylovソルバーの通信ボトルネックを、グローバル同期ステップを最小限に抑えることで解決する。
• コンパクトWYとMGSにおける遅延正規化を用いて、通信を削減した後方安定性を有するGMRES変種を開発する。
• リダクションのオーバーラップとパイプライン処理により、計算と重ね合わせることで、GPUおよび分散メモリシステムにおけるスケーラブルなパフォーマンスを実現する。
• 特にFEMおよびCFD応用分野において、大規模なスパース線形システムに対して高いパフォーマンスと安定性を達成する。
• 同期頻度を低減しつつ数値的精度を維持することで、GMRESのスケーラビリティを現在の限界を超えて拡張する。

提案手法

• コンパクトWY MGSにおけるR行列の対角正規化に遅延を導入し、グローバルリダクションを遅らせることで、各反復で1回の同期化に抑える。
• Ruhe（1994）のループ不変式を活用し、再直交化をアンロールすることで、CGSにおける冗長なグローバルリダクションを排除する。
• GhyselsらおよびYamazakiらのインスピレーションを受けて、リダクション処理を計算とオーバーラップし、通信遅延を隠蔽する。
• GPUアクセラレータ向けに、SpMVおよび内積演算のためのBLAS-2オペレーションを実装し、現代のアクセラレータにおけるパフォーマンスを向上させる。
• コンパクトWY表現を用いることで、直交化ステップにおけるストレージを削減し、データ局所性を向上させる。
• GPU上でBoomerAMGおよびL1ヤコビスモotherrと組み合わせた低同期化GMRESを統合し、ソルバー全体のスケーラビリティを実現する。

実験結果

リサーチクエスチョン

• RQ1 MGS-GMRESにおけるグローバル同期ステップ数を1回/反復にまで削減可能か。ただし、後方安定性を損なわないようにする。
• RQ2 コンパクトWY形式における遅延正規化が、GMRESにおける直交性損失および数値的安定性に与える影響はいかほどか。
• RQ3 パイプライン処理およびリダクションのオーバーラップは、GPUアクセラレートエクサスケールシステムにおけるパフォーマンスをどの程度向上できるか。
• RQ4 大規模なスパース線形システムにおいて、従来のHypreのBLAS-1 MGS-GMRESと比較して、低同期化GMRESがどの程度のパフォーマンス向上を達成できるか。
• RQ5 本手法は、O(100K)ノード規模で通信オーバーヘッドを最小限に抑えつつ、効率的なスケーリングを達成できるか。

主な発見

• 1回同期化MGS-GMRESアルゴリズムは、O(εκ(A))の直交性損失を伴う後方安定性を達成し、数値的信頼性を保証する。
• 新規のGMRES-two-synchアルゴリズムは、50万次元のシステムで1e-13の許容誤差下で解法時間を1.92秒にまで短縮し、HypreのBLAS-1 MGS-GMRESと比較して60％の改善を達成した。
• GPUアクセラレート版実装は、同一のハードウェア環境下でHypreのレベル1 BLAS MGS-GMRESと比較して最大35倍の高速化を実現した。
• ペレグリンスーパーコンピュータ上では、ノード数の増加に伴い、グラム・シュミットカーネルの実行時間が顕著に短縮され、強スケーリングの兆候が示された。
• この手法により、より多くの安価なGMRES反復と、軽量なVサイクルの組み合わせが可能となり、総合的な解法時間の最適化が実現された。
• 大規模な分散メモリシステムへの応用についても前向きな兆候が得られており、スケーリングの可能性が初期段階から示された。