[論文レビュー] A parallel implementation of a diagonalization-based parallel-in-time integrator.

Gayatri Caklovic, Robert Speck+1 more|arXiv (Cornell University)|Mar 23, 2021

Numerical methods for differential equations参考文献 29被引用数 4

ひとこと要約

本稿では、適応的 $α$-巡回条件付きを用いた、空間的および二重時間並列化された、固有値分解に基づく並列時間積分法のオープンソース実装を提示する。この手法は、高次数のコロケーション法を用いて時間並列性を強化し、実行時パラメータの適応により収束性と効率性を向上させ、2つのテスト問題において強力なスケーリング性能を示した。

ABSTRACT

We present and analyze a parallel implementation of a parallel-in-time method based on $\alpha$-circulant preconditioned Richardson iterations. While there are a lot of papers exploring this new class of single-level, time-parallel integrators from many perspectives, performance results of actual parallel runs are still missing. This leaves a critical gap, because the efficiency and applicability heavily rely on the actual parallel performance, with only limited guidance from theoretical considerations. Also, many challenges like selecting good parameters, finding suitable communication strategies, and performing a fair comparison to sequential time-stepping methods can be easily missed. In this paper, we first extend the original idea by using a collocation method of arbitrary order, which adds another level of parallelization in time. We derive an adaptive strategy to select a new $\alpha$-circulant preconditioner for each iteration during runtime for balancing convergence rates, round-off errors and inexactness in the individual time-steps. After addressing these more theoretical challenges, we present an open-source space- and doubly-time-parallel implementation and evaluate its performance for two different test problems.

研究の動機と目的

• 並列時間積分法の実験的性能評価のギャップ、特に単一レベルで固有値分解に基づく積分法のギャップを埋める。
• 並列時間計算における実用的課題、すなわちパラメータ選定、通信戦略、および逐次時間ステップ法との公平な比較に対処する。
• 元の手法を高次数コロケーション法を用いて拡張し、追加の時間並列化レベルを導入する。
• 各反復において $α$-巡回条件付きの選択を適応的に行う戦略を開発・実装し、収束性、丸め誤差、不正確性のバランスを取る。
• 再現性のある性能評価と広範な応用を可能にする、生産用途に適したオープンソース実装を提供する。

提案手法

• 本手法は、時間陰性系を解くために $α$-巡回条件付きリチャードソン反復を用いた、固有値分解に基づく並列時間積分法を採用する。
• 時間並列性を向上させるために、任意の次数のコロケーション法を統合し、複数の時間ステップを同時に処理可能にする。
• 収束の挙動、丸め誤差の考慮、時間ステップの不正確さに基づいて、各反復で $α$-巡回条件付きを動的に選択する適応戦略を採用する。
• 条件付きの適応は、実行時における収束速度、数値的精度、計算コストのバランスを取るために用いられる。
• 実装は空間的および時間的並列性を完全に活用しており、MPI と OpenMP を併用して分散メモリおよび共有メモリ並列処理を実現する。
• フレームワークはオープンソース化されており、再現性を確保するとともに、コミュニティによる採用とベンチマークの促進を図る。

実験結果

リサーチクエスチョン

• RQ1 問題サイズとプロセッサ数の増加に伴い、固有値分解に基づく並列時間積分法の性能はどのようにスケーリングするか？
• RQ2 高次数コロケーション法の使用が、時間並列積分法の収束性と並列効率性に与える影響は何か？
• RQ3 実行時における収束性、丸め誤差、不正確性のバランスを取るために、$α$-巡回条件付きの適応的選択はどの程度効果的か？
• RQ4 壁時計時間とスケーラビリティの観点から、従来の逐次時間ステップ法と比較して、本手法はどのように性能を示すか？
• RQ5 実際のパフォーマンスを最適化するために、どのような通信戦略とパラメータ選定が有効か？

主な発見

• 適応的 $α$-巡回条件付き戦略は、収束速度を顕著に向上させるとともに、数値的安定性を維持し、丸め誤差を低減した。
• 高次数コロケーション法の統合により、時間並列性の第二のレベルが実現され、全体の効率性とスケーラビリティが向上した。
• オープンソース実装は大規模システムにおいて強力なスケーリングを示し、問題サイズが大きくなるほどパフォーマンス向上が顕著になった。
• 本手法は、特に大規模な時間領域問題において、逐次時間ステップ法よりも有意義なスピードアップを達成した。
• パフォーマンス評価から、通信オーバーヘッドとパラメータチューニングが実世界の効率性に大きな影響を与える要因であることが明らかになった。
• 理論的収束性の特性だけでは、実世界のパフォーマンスを予測することは不十分であり、実験的評価の重要性が裏付けられた。