[論文レビュー] The swept rule for breaking the latency barrier in time advancing two-dimensional PDEs

Maitham Alhubail, Qiqi Wang+1 more|arXiv (Cornell University)|Feb 23, 2016

Parallel Computing and Optimization Techniques参考文献 9被引用数 5

ひとこと要約

本論文は、影響領域と依存領域を活用することで通信頻度を低減する、2次元（2D）時間進行偏微分方程式（PDE）のためのスイープルール（Swept Rule）を導入する。時間ステップを多数回にわたり1回の通信で行うことで、データ量はほぼ同じだがメッセージ数を減らし、ネットワーク遅延の壁を打ち破り、クラウドクラスタ上での2D波動方程式およびエーラー方程式のシミュレーションで、従来の空間分割法と比較して3倍以上の高速化を達成した。

ABSTRACT

This article describes a method to accelerate parallel, explicit time integration of two-dimensional unsteady PDEs. The method is motivated by our observation that latency, not bandwidth, often limits how fast PDEs can be solved in parallel. The method is called the swept rule of space-time domain decomposition. Compared to conventional, space-only domain decomposition, it communicates similar amount of data, but in fewer messages. The swept rule achieves this by decomposing space and time among computing nodes in ways that exploit the domains of influence and the domain of dependency, making it possible to communicate once per many time steps with no redundant computation. By communicating less often, the swept rule effectively breaks the latency barrier, advancing on average more than one time step per ping-pong latency of the network. The article presents simple theoretical analysis to the performance of the swept rule in two spatial dimensions, and supports the analysis with numerical experiments.

研究の動機と目的

• 並列明示的時間積分における2次元非定常PDEのスケーリング限界を解消すること。これは、計算能力ではなくネットワーク遅延によって制限されることが一般的である。
• ノード間の通信メッセージ数を減らすことで、分散PDEソルバーにおける遅延障壁を克服すること。冗長な計算を増加させずに実現する。
• 1次元スイープルールを2次元空間に拡張し、長時間で小スケールのシミュレーションに適した効率的で低遅延の時間進行を可能にすること。
• 影響領域および依存領域に基づく空間時間分割が、従来の空間領域分割よりも高速な時間積分を可能にすることを示すこと。
• 数値スキームの開発とスイープルールの実装を分離するモジュラーで再利用可能なインターフェースを提供し、広範な採用を促進すること。

提案手法

• スイープルールは、各計算サブドメインの影響領域および依存領域に基づいて、計算ノード上で空間と時間の両方を分割する。
• データを多数の時間ステップにわたり1回の通信で行うように計算ワークロードを再編成することで、データ量はほぼ同じだがメッセージ数を削減する。
• PDEの因果構造を活用して、いつ、何のデータを交換する必要があるかを特定し、多数の小規模な転送ではなく、バッチ通信を可能にする。
• ノードが同期を必要としない複数の時間ステップにわたり計算を進めることが可能な、空間時間スイープパターンを採用する。
• MPIを用いて実装され、数値スキームの論理とドメイン分割論理を分離する明確な抽象化レイヤーを介して、既存のPDEソルバーに統合可能である。
• 一部の通信回避アルゴリズムとは異なり、必要なデータを必要に応じてのみ交換することで、冗長な計算を回避する。

実験結果

リサーチクエスチョン

• RQ1 空間時間ドメイン分割により、冗長な計算を増加させずに並列2D PDEソルバーにおける通信頻度を低減できるか？
• RQ2 メッセージ数の削減が、時間進行PDEソルバーにおけるネットワーク遅延の影響をどの程度軽減できるか？
• RQ3 実際の性能評価において、スイープルールは古典的な空間領域分割と比較して、2D PDEにおけるスループットとスケーラビリティの面で優れているか？
• RQ4 スイープルールは、2D波動方程式およびエーラー方程式といった線形および非線形PDEに対しても効果的に適用可能か？
• RQ5 航空熱的設計で一般的に見られる小スケールで長時間にわたるシミュレーションに適用した場合、スイープルールによる性能向上はどの程度か？

主な発見

• 9ノードのAmazon EC2クラスタ上で2D波動方程式を解いた際、MPIプロセス1つあたり約1,000グリッド点を割り当てた場合、スイープルールは3倍を超える高速化を達成した。
• 2Dエーラー方程式では、ノード1つあたり約400グリッド点を割り当てた場合に4倍の高速化を達成し、非線形で圧縮性のある流れに対しても有効であることが示された。
• 小さな問題サイズでも性能向上が観察されたことから、低帯域幅・高遅延ネットワーク環境下でも、この手法が実際に遅延の壁を打ち破っていることが確認された。
• 2つのテストケースとも、波の伝播や運動量の変化を正しく再現する等高線図が得られ、数値的精度が保持されていることが検証された。
• 理論的性能モデルは実験結果とよく一致しており、図14および図16の下り坂の直線は、遅延回避の利点を捉えた $\frac{4\tau}{n}$ 項を表している。
• 2次元PDE用のスイープルールのオープンソース実装はGitHubで公開されており、再現性の確保と他のソルバーへの統合を可能としている。