[論文レビュー] A hybrid OpenMP and MPI implementation of a conservative spectral method for the Boltzmann equation

J. Haack|arXiv (Cornell University)|Jan 17, 2013

Gas Dynamics and Kinetic Theory参考文献 22被引用数 8

ひとこと要約

本稿では、ボルツマン方程式の保存的スペクトル法をハイブリッドOpenMP/MPI並列実装することで、スパコン上で最大128ノードまでニアーライニアスケーリングを達成した。非一様グリッド上で2次精度を達成し、Gibbs現象を回避しながら、正確なボルツマン散乱演算子を用いた衝撃波の完全非線形計算を、運動的境界層から初めて実現した。

ABSTRACT

We demonstrate the implementation of a hybrid OpenMP and MPI parallelization of a conservative spectral method for the Boltzmann equation originally developed by Gamba and Tharkabhushaman. We perform a scaling analysis to demonstrate that the problem is well suited to parallelization, and find that the computational time scales linearly with the number of compute nodes on high performance computing resources. The original method has also been improved to higher order in space and time and is implemented on non-uniform grids in physical space. We test this scheme for an example problem in which a kinetic boundary layer generates a shock wave for large space and long times. This is the first time that the fully nonlinear Boltzmann collision operator has been used to compute this problem.

研究の動機と目的

• 決定論的スペクトル法を用いて、完全非線形ボルツマン方程式の高性能計算を可能にすること。
• GambaとTharkabhushanamの保存的スペクトル法を、非一様物理グリッド上で空間的・時間的に2次精度に拡張すること。
• 高性能コンputィングリソースにおける効率的スケーリングを実現するため、ハイブリッドOpenMP/MPI並列化戦略を実装すること。
• 急激な壁温度変化に起因する衝撃形成を示すベンチマーク運動的境界層問題に対する手法の妥当性を検証すること。
• スペクトル法が統計的フラクチュエーションを回避し、非平衡状態および長時間シミュレーションにおいてモンテカルロ法を上回る高精度を達成できることを示すこと。

提案手法

• ボルツマン方程式をフーリエ空間で弱形式化し、散乱演算子を重み付き畳み込みに変換する。
• 各タイムステップで、質量・運動量・エネルギーの保存を数値的制約最適化問題として強制する。
• OpenMPをノード内共有メモリ並列化、MPIをノード間分散メモリ通信に用いるハイブリッド並列化戦略を採用する。
• 物理空間における非一様グリッド上で、2次精度の時間積分と空間離散化を採用する。
• 散乱重みは事前に計算された6次元配列 $\widehat{G}(\zeta,\xi)$ として保持するが、メモリ拡張性を考慮し、実行時計算も検討する。
• 急激な壁温度変化問題を用いてテストし、分布関数の初期不連続性から衝撃形成をシミュレートする。

実験結果

リサーチクエスチョン

• RQ1 ハイブリッドOpenMP/MPIアプローチを用いて、大規模HPCシステム上でボルツマン方程式の保存的スペクトル法を効率的に並列化できるか？
• RQ2 2次精度で非一様グリッドを用いた実装が、運動的境界層からの衝撃形成を安定かつ正確に捉えることができるか？
• RQ3 計算時間は計算ノード数にどのように依存するか？また、ニアーライニアスケーリングを達成するか？
• RQ4 フィルタリングなしで、不連続な分布関数の存在下でも、スペクトル法がGibbs現象を回避できるか？
• RQ5 大規模速度グリッドへのスケーリングに際し、メモリおよび計算上のボトルネックは何か？それらはどのように緩和できるか？

主な発見

• 本手法は128ノードにわたってニアーライニアスケーリングを達成し、32ノード（512コア）を用いたシングルスレッド実装と比較して約128倍のスピードアップを達成した。
• 1ノードでは1タイムステップあたり456.313秒であった計算時間が、128ノードでは4.042秒にまで短縮され、強スケーリング効率が顕著に示された。
• 本手法は、完全非線形ボルツマン散乱演算子を用いて、急激な壁温度変化に起因する衝撃形成を初めて正確に計算した。
• 壁近傍の不連続なマージナル分布が存在するにもかかわらず、解にGibbs現象が観察されず、畳み込み重みによる安定化効果が示唆された。
• 制約付き最適化により、マクロな保存性（質量・運動量・エネルギー）が維持され、物理的に整合した時間発展が保証された。
• スケーリングに伴い、メモリアクセスがボトルネックとなることが判明。6次元の $\widehat{G}(\zeta,\xi)$ 配列は単一ノードのメモリを超過する可能性があり、重みの実行時計算がスケーラブルな代替手段として提案された。