[論文レビュー] Numerical analysis of the maximal attainable accuracy in communication hiding pipelined Conjugate Gradient methods

Siegfried Cools|arXiv (Cornell University)|Apr 9, 2018

Matrix Theory and Algorithms参考文献 34被引用数 3

ひとこと要約

この論文は、HPCにおける通信遅延を低減するため、局所計算とグローバル通信を重ねるパイプライン化された共役勾配（CG）法における到達可能な最大精度を分析している。多項式再帰関係における誤差伝播の境界を導出し、ℓ ≥ 3 の p(ℓ)-CG が後退誤差 ≤ 1e-12 を達成可能であるのに対し、低次の ℓ のバリアントは丸め誤差の増幅により失敗することを示している。

ABSTRACT

Krylov subspace methods are widely known as efficient algebraic methods for solving large scale linear systems. However, on massively parallel hardware the performance of these methods is typically limited by communication latency rather than floating point performance. With HPC hardware advancing towards the exascale regime the gap between computation and communication keeps steadily increasing, imposing the need for scalable alternatives to traditional Krylov subspace methods. One such approach are the so-called pipelined Krylov subspace methods, which reduce the number of global synchronization points and overlap global communication latency with local arithmetic operations, thus hiding the global reduction phases behind useful computations. To obtain this overlap the traditional Krylov subspace algorithm is reformulated by introducing a number of auxiliary vector quantities, which are computed using additional recurrence relations. Although pipelined Krylov subspace methods are equivalent to traditional Krylov subspace methods in exact arithmetic, local rounding errors induced by the multi-term recurrence relations in finite precision may in practice affect convergence significantly. This numerical stability study aims to characterize the effect of local rounding errors on attainable accuracy in various pipelined versions of the popular Conjugate Gradient method. Expressions for the gaps between the true and recursively computed variables that are used to update the search directions in the different CG variants are derived. Furthermore, it is shown how these results can be used to analyze and correct the effect of local rounding error propagation on the maximal attainable accuracy of pipelined CG methods. The analysis in this work is supplemented by numerical experiments that demonstrate the numerical behavior of the pipelined CG methods.

研究の動機と目的

• パイプライン化されたクリロフ部分空間法における局所的丸め誤差が到達可能な最大精度に与える影響を調査すること。
• パイプライン化CG（p-CGおよびp(ℓ)-CG）における多項式再帰関係が有限精度算術において丸め誤差をどのように増幅させるかを分析すること。
• パイプライン深度 ℓ およびクリロフ基底構造に依存する誤差伝播の実用的境界を導出すること。
• 計算効率の犠牲を払っても精度を向上させるために、誤差増幅を軽減するための対策を提案すること。
• PETScを用いた再現可能な実験を通じて、パイプライン化CGの変種の数値的挙動を示すこと。

提案手法

• p-CGおよびp(ℓ)-CGにおける真の値と再帰的に計算された変数との差を導出し、特に探索方向の更新に注目する。
• 有限精度解析を用いて、パイプライン化アルゴリズムにおける多項式再帰関係を通じた局所的丸め誤差の伝播をモデル化する。
• パイプライン深度 ℓ およびクリロフ基底の条件数に依存する誤差増幅の理論的境界を確立する。
• 再帰関係を変更することで計算コストを増やすが、精度を向上させる安定化戦略を提案する。
• PETScにおけるC言語実装を用いた数値実験により、収束性および残差低減の観点から、さまざまな変種を比較して妥当性を検証する。
• 特にエクサスケールHPCワークロードの文脈において、最大到達可能精度の指標として後退誤差に焦点を当てる。

実験結果

リサーチクエスチョン

• RQ1 多項式再帰関係に起因する局所的丸め誤差は、パイプライン化CG法における到達可能な最大精度にどのように影響するか？
• RQ2 パイプライン深度 ℓ は、p(ℓ)-CGにおける誤差増幅および収束挙動にどのような影響を及ぼすか？
• RQ3 なぜ p(1)-CG および p(2)-CG は後退誤差を 1e-12 未満に低下させることができないが、p(3)-CG は可能なのか？
• RQ4 誤差増幅を軽減するための安定化技術を設計可能か？ ただし、性能の著しい低下を避けられるか？
• RQ5 クリロフ基底の構造は、パイプライン化CGにおける丸め誤差の伝播にどのように影響するか？

主な発見

• ℓ = 3 の p(ℓ)-CG は後退誤差 ‖b - A𝐱̄ⱼ‖ / ‖b‖ ≤ 1.0e-12 を達成するが、p(1)-CG や p(2)-CG は誤差増幅のため達成できない。
• p(3)-CG における平方根の崩壊およびその後の再起動は、最終的な精度を向上させるが、低次の ℓ のバリアントと比較して収束が遅れる。
• 標準の p(ℓ)-CG 変種は安定化された対応物よりも速く収束するが、その代わりに到達可能な精度が低下する。
• 誤差伝播はパイプライン深度 ℓ およびクリロフ基底の条件数に強く影響を受けており、より高い ℓ では誤差制御が向上する。
• 誤差増幅を軽減するための提案された対策は、計算効率を犠牲にしてでも精度を向上させるものであり、高精度応用において実用的な妥協策であることが示唆される。
• 解析により、ℓ ≥ 3 の p(ℓ)-CG は、再帰関係におけるより優れた数値的安定性のおかげで、低次の ℓ のバリアントよりも高い最大到達可能精度を達成可能であることが明らかになった。