[論文レビュー] A space-time parallel solver for the three-dimensional heat equation

Robert Speck, Daniel Ruprecht+3 more|JuSER (Forschungszentrum Jülich)|Jul 30, 2013

Matrix Theory and Algorithms参考文献 8被引用数 5

ひとこと要約

本稿では、空間と時間の両方で並列化するPFASST（空間・時間における完全近似スキームの並列化）と空間方向に並列化された多重グリッド法（PMG）を組み合わせることで、3次元熱方程式の空間・時間並列スケーラブルな解法を提示する。この手法は、空間並列化の飽和点を超えて顕著な強スケーリングを達成し、粗めの空間的コarseningと空間並列化の低減を組み合わせることで最適な性能を発揮する。これは、極大規模シミュレーションにおいて時間的および空間的並列化を一体的に設計する必要があることを示している。

ABSTRACT

The paper presents a combination of the time-parallel "parallel full approximation scheme in space and time" (PFASST) with a parallel multigrid method (PMG) in space, resulting in a mesh-based solver for the three-dimensional heat equation with a uniquely high degree of efficient concurrency. Parallel scaling tests are reported on the Cray XE6 machine "Monte Rosa" on up to 16,384 cores and on the IBM Blue Gene/Q system "JUQUEEN" on up to 65,536 cores. The efficacy of the combined spatial- and temporal parallelization is shown by demonstrating that using PFASST in addition to PMG significantly extends the strong-scaling limit. Implications of using spatial coarsening strategies in PFASST's multi-level hierarchy in large-scale parallel simulations are discussed.

研究の動機と目的

• 3次元熱方程式の空間並列スケーラブルな解法の強スケーリング限界を、PFASSTによる時間並列化を導入することで拡張すること。
• 特に空間ソルバーが通信に制限を受ける状況において、空間的および時間的並列化の相互作用を調査すること。
• 空間コアスケーリング戦略（自由度の低減、低次の差分スキーム、粗めの時間グリッド）が、空間・時間多重グリッドフレームワーク内でのPFASSTの効率に与える影響を評価すること。
• 極大規模環境における全体のスピードアップを最大化するためのPFASST+PMGの最適な設定を特定すること。
• 空間並列化がすでに飽和状態に近い場合に、時間並列化手法が強スケーリングを効果的に拡張できるかどうかを評価すること。

提案手法

• 本手法は、時間方向に積分するための方法論的ラインズ（method-of-lines）を採用し、細かめのグリッドでは4次精度のコンパクト差分スキーム、粗めのグリッドでは2次精度の標準差分スキームを用いて3次元熱方程式を空間離散化する。
• 時間積分にはPFASSTが用いられ、細かめのグリッドでは1時間ステップあたり5個、粗めのグリッドでは3個のSDCノードを持つ2段階の空間・時間階層構造を採用する。
• PFASST内のサブステッパーとして陰的Euler法が使用され、その結果得られる線形方程式系は、各階層で並列多重グリッド（PMG）法によって解かれる。
• FAS（完全近似スキーム）補正により、自由度の低減や空間離散化の次数の低下といった柔軟な空間コアスケーリング戦略が可能になる。
• SDCおよびPFASST反復の残差閾値は1e-10に設定され、相対的最大誤差は約1.1e-11に達する。
• コアスケーリングは時間方向（SDCノード数の減少）、空間方向（自由度の低減）、および空間離散化次数（4次から2次に）にわたって適用され、多段階階層が構築される。

実験結果

リサーチクエスチョン

• RQ1 PFASSTとPMGの組み合わせが、極大規模システム上での3次元熱方程式ソルバーの強スケーリング挙動に与える影響は何か？
• RQ2 空間コアスケーリング戦略（自由度の低減、低次の差分スキーム）が、PFASSTにおける粗めスイープと細かめスイープの実行時間比に与える影響は何か？
• RQ3 空間並列化が通信に支配的である場合、PFASSTによる時間並列化の効率にどのような影響を与えるか？
• RQ4 PFASSTは、空間並列化のみのスケーリングがすでに飽和状態に達した場合でも、強スケーリングを拡張できるか？また、そのような状況で最も効果的となる条件は何か？
• RQ5 空間スイープに使用するコア数を減らすことで、粗めから細かめへの実行時間比と全体のPFASST効率がどの程度向上するか？

主な発見

• PFASST+PMGソルバーは、Cray XE6「Monte Rosa」で最大16,384コア、IBM Blue Gene/Q「JUQUEEN」で最大65,536コアまで強スケーリングを達成し、極大規模でもスケーラブルであることを示した。
• 空間スイープに使用するコア数を減らすことで、粗めスイープの実行時間比（α、粗めスイープ効率の指標）が、完全な空間並列化と比較して4倍以上も改善された。
• 粗めスイープの効率が向上したことで、PFASSTの収束性が向上し、全体のスピードアップも高くなったが、空間ソルバーの実行時間はわずかに増加した。
• 空間並列化が通信に支配的である状況では、粗めスイープでの自由度の低減が実行時間にほとんど影響を与えず、通信時間の優位性が顕著に現れた。
• PFASSTの理論的スピードアップ推定値は正確に保たれ、JUQUEENでの観測スピードアップはMonte Rosaよりもわずかに良好であったが、差は小さかった。
• 結果から、時間的および空間的並列化は相互に依存していることが明らかになった。特に通信に制限を受ける環境では、両方の戦略を一体的に設計することが最適なパフォーマンスを実現する鍵である。