[論文レビュー] Numerical stability analysis of the class of communication hiding pipelined Conjugate Gradient methods.

Siegfried Cools|arXiv (Cornell University)|Apr 9, 2018

Matrix Theory and Algorithms参考文献 32被引用数 1

ひとこと要約

この論文は、HPCにおける通信遅延を低減するためにグローバルな削減を局所計算と重ねるパイプライン化された共役勾配（CG）法の数値的安定性を分析する。再帰的に計算される変数の誤差ギャップの式を導出し、丸め誤差が収束性と精度に与える影響を示し、エクサスケール対応のソルバーにおいてこれらの影響を補正するためのフレームワークを提供する。

ABSTRACT

Krylov subspace methods are widely known as efficient algebraic methods for solving linear systems. However, on massively parallel hardware their performance is typically limited by communication latency rather than floating point performance. With HPC hardware advancing towards the exascale regime the gap between computation (i.e. flops) and communication (i.e. internode communication, as well as data movement within the memory hierarchy) keeps steadily increasing, imposing the need for scalable alternatives to traditional Krylov subspace methods. One such approach are pipelined Krylov subspace methods, which reduce the number of global synchronization points and overlap global communication latency with local arithmetic operations, thus `hiding' the global reduction phases behind useful computations. To obtain this overlap the algorithm is reformulated by introducing a number of auxiliary vector quantities, which are computed using additional recurrence relations. Although pipelined Krylov subspace methods are equivalent to traditional Krylov subspace methods in exact arithmetic, the behavior of local rounding errors induced by the multi-term recurrence relations in finite precision may in practice affect convergence significantly. This numerical stability study aims to characterize the effect of local rounding errors in various pipelined versions of the popular Conjugate Gradient method. We derive expressions for the gaps between the true and (recursively) computed variables that are used to update the search directions in the different CG variants. Furthermore, we show how these results can be used to analyze and correct the effect of local rounding error propagation on the maximal attainable accuracy of pipelined CG methods. The analysis in this work is supplemented by various numerical experiments that demonstrate the numerical stability of the pipelined CG methods.

研究の動機と目的

• エクサスケールHPCシステムにおける浮動小数点演算と通信遅延の間の性能ギャップの拡大に対処する。
• パイプライン化CG法における多項式再帰関係に起因する局所的丸め誤差が収束性と精度に与える影響を調査する。
• 有限精度算術に起因する真値と計算値の間の乖離を、パイプライン化CGの変種において特徴づける。
• 丸め誤差伝搬が到達可能な最大精度に与える影響を分析・補正する理論的フレームワークを構築する。
• 理論的予測の妥当性を確認するため、異なるパイプライン化CG実装における数値実験を通じて安定性を検証する。

提案手法

• 複数のパイプライン化CG変種において、探索方向更新に用いられる真値と再帰的に計算された変数の間のギャップの解析的式を導出する。
• パイプライン化されたKrylov法に内在する多項式再帰関係を通じた局所的丸め誤差の伝播をモデル化する。
• 正確算術の等価性を用いて、パイプライン再定式化における有限精度計算に起因する偏差を特定する。
• 導出したギャップ式に基づいて誤差補正メカニズムを構築し、到達可能な最大精度を向上させる。
• 理論的予測の妥当性を検証するため、数値実験を通じてパイプライン化CG変種の実装とテストを実施する。

実験結果

リサーチクエスチョン

• RQ1 パイプライン化CG法における多項式再帰関係は、有限精度における局所的丸め誤差をどのように拡大するか？
• RQ2 丸め誤差に起因して、パイプライン化CGにおける真値と計算値の間の定量的関係は何か？
• RQ3 これらの丸め誤差は、パイプライン化CGの収束性と到達可能な最大精度をどの程度劣化させるか？
• RQ4 導出した誤差ギャップ式は、有限精度算術が解の精度に与える影響を予測・補正するために利用可能か？
• RQ5 異なるパイプライン化CG変種において、数値結果は理論的予測とどの程度一致するか？

主な発見

• 本論文は、有限精度算術に起因する影響を定量化するため、パイプライン化CG法における真値と再帰的に計算された変数のギャップの明示的式を導出する。
• パイプライン化CGにおける丸め誤差は再帰関係を通じて伝播し、収束性と到達可能な最大精度を顕著に劣化させる可能性がある。
• 導出した誤差ギャップ式により、誤差蓄積が最も顕著になるアルゴリズム上の重要なポイントを特定できる。
• 数値実験により理論的予測が確認され、誤差伝播を考慮した場合に安定した収束行動が得られていることが示された。
• 導出したギャップモデルに基づく誤差補正戦略を組み込むことで、より頑健なパイプライン化Krylovソルバーの設計に基盤を提供する。