[論文レビュー] s-Step Orthomin and GMRES implemented on parallel computers

A.T. Chronopoulos, S. K. Kim|arXiv (Cornell University)|Jan 14, 2020

Matrix Theory and Algorithms参考文献 12被引用数 15

ひとこと要約

この論文は、階層型メモリスーパーコンピュータ上で大規模な非対称線形方程式系を解く際のデータ局所性と並列性を向上させるために、sステップ OrthominおよびGMRES法を提案する。ブロック演算（BLAS3）を用いてs個の同時探索方向を形成することで、メモリトラフィックと通信オーバーヘッドを低減し、未条件化問題ではCray-2で最大1.5倍の性能向上を達成。条件化問題では1.3倍の向上を示し、特に行列-ベクトル乗算をローカルメモリ使用で最適化した場合に顕著である。

ABSTRACT

The Orthomin ( Omin ) and the Generalized Minimal Residual method ( GMRES ) are commonly used iterative methods for approximating the solution of non-symmetric linear systems. The s-step generalizations of these methods enhance their data locality parallel and properties by forming s simultaneous search direction vectors. Good data locality is the key in achieving near peak rates on memory hierarchical supercomputers. The theoretical derivation of the s-step Arnoldi and Omin has been published in the past. Here we derive the s-step GMRES method. We then implement s-step Omin and GMRES on a Cray-2 hierarchical memory supercomputer.

研究の動機と目的

• 階層型メモリアーキテクチャ上で非対称線形方程式系の反復解法におけるデータ局所性と並列性を向上させること。
• BLAS3ルーチンを用いて複数の反復をブロック演算に集約することで、メモリ帯域幅のボトルネックを低減すること。
• 従来のsステップ Orthominおよびアーノルド法の研究を拡張し、sステップGMRESを導出し、実装すること。
• PDEの有限差分離散化を用いてCray-2スーパーコンピュータ上で性能向上を評価すること。
• ローカルメモリを活用し、メインメモリアクセスを最小限に抑えるために、Crayアセンブリ言語（CAL）を用いて行列-ベクトル乗算を最適化すること。

提案手法

• 標準GMRESアルゴリズムを一般化し、s個の同時探索方向を繰り返しの行列-ベクトル積によって生成することで、sステップGMRES法を導出する。
• s方向ベクトルを形成するためにBLAS3演算（例：GAXPY、ドット積）を用い、メモリ参照数と浮動小数点演算数の比をs分の1に削減する。
• Cray-2上でsステップ OrthominおよびGMRESを実装し、そのベクタパイプライン、ローカルメモリ、シングルパスメモリアーキテクチャを活用する。
• 収束を改善し反復回数を減らすためにILU(0)条件付けを適用する。
• ローカルメモリを活用し、メインメモリアクセスを最小限に抑えるために、手動で最適化したCrayアセンブリ言語（CAL）を用いて行列-ベクトル乗算を最適化する。
• 線形結合を単一のGAXPY演算にアンロールすることで、命令レベル並列性を向上させ、ループのオーバーヘッドを低減する。

実験結果

リサーチクエスチョン

• RQ1 sステップ法は、Cray-2のような階層型メモリスーパーコンピュータ上で、メモリトラフィックを顕著に低減し、性能を向上させることができるか？
• RQ2 sステップGMRES法は、標準GMRES法と比較して収束性と実行時間の点でどのように異なるか？
• RQ3 行列-ベクトル乗算が高コストである場合、ブロックサイズsが収束行動と性能に与える影響は何か？
• RQ4 低レベルアセンブリを用いて行列-ベクトル乗算におけるローカルメモリ使用を最適化することで、より高い性能を達成できるか？
• RQ5 sステップアプローチは、通信および同期のオーバーヘッドを低減しつつ、標準手法と同等の収束特性を維持できるか？

主な発見

• 未条件化系において、sステップ Orthomin(2)はCray-2上で標準Orthomin(4)と比較して1.5倍の性能向上を達成した。
• sステップ GMRES(2)は標準GMRES(10)と比較して1.3倍の高速化を達成したが、条件付けが適用された場合には、条件付けのメガフロップレートが低いため、性能向上が縮小した。
• 同じ問題サイズにおいて、s-GMRES(2)はGMRES(10)と同等の反復回数を要したため、sステップ法が収束行動を保持していることが確認された。
• s-Omin(k)およびs-GMRES(m)の反復回数は標準手法と同等であったが、データ局所性の向上により実行時間が顕著に短縮された。
• BLAS3演算のためのループアンローリングは性能向上をもたらさなかったため、ボトルネックはループのオーバーヘッドではなく、メモリアクセスパターンに起因していることが示された。
• 著者らは、行列-ベクトル乗算をCrayアセンブリ言語（CAL）で実装することで、ローカルメモリを完全に活用し、メインメモリ帯域幅の圧力を軽減でき、さらなる性能向上が期待できると予想している。