[論文レビュー] A FFT-accelerated multi-block finite-difference solver for massively parallel simulations of incompressible flows

Pedro Costa|arXiv (Cornell University)|Jun 7, 2021

Computational Fluid Dynamics and Aerodynamics参考文献 53被引用数 13

ひとこと要約

本稿では、非圧縮性流れの大量並列直接時分解シミュレーション（DNS）のためのオープンソースでFFT加速を施したマルチブロック有限差分ソルバ、SNaCを提示する。均一な方向に沿ってFFTベースの固有関数展開を適用することで3次元のポアソン方程式を複数の2次元ヘルムホルツ問題に低次元化し、それらを幾何的多重グリッドで解くことで、非FFTアプローチと比較して計算コストを最大8倍まで低減した。本手法は多様な境界条件をサポートし、極限スケールHPCアーキテクチャでも効率的にスケーリング可能である。

ABSTRACT

We present a multi-block finite-difference solver for massively parallel Direct Numerical Simulations (DNS) of incompressible flows. The algorithm combines the versatility of a multi-block solver with the method of eigenfunctions expansions, to speedup the solution of the pressure Poisson equation. This is achieved by employing FFT-based transforms along one homogeneous direction, which effectively reduce the problem complexity at a low cost. These FFT-based expansions are implemented in a framework that unifies all valid combinations of boundary conditions for this type of method. Subsequently, a geometric multigrid solver is employed to solve the reduced Poisson equation in a multi-block geometry. Particular care was taken here, to guarantee the parallel performance of the multigrid solver when solving the reduced linear systems equations. We have validated the overall numerical algorithm and assessed its performance in a massively parallel setting. The results show that 2- to 8-fold reductions in computational cost may be easily achieved when exploiting FFT acceleration for the solution of the Poisson equation. The solver, SNaC, has been made freely available and open-source under the terms of an MIT license.

研究の動機と目的

• 圧縮性流れの直接時分解シミュレーション（DNS）における圧力ポアソン方程式の解法という計算ボトルネックを克服する、高効率で大量並列なDNSソルバの開発。
• 単純な幾何形状にとどまらないFFTベースのポアソンソルバを、複雑な領域と多様な境界条件をサポートするマルチブロックフレームワークに統合することで拡張すること。
• FFT加速と幾何的多重グリッドソルバを組み合わせ、プロセッサ間のタスク配分を最適化することで、並列性能を高めること。
• 乱流シミュレーション、二相流、複雑な幾何形状のシミュレーションをサポートする、自由に利用可能で拡張可能なソルバ（SNaC）を提供すること。

提案手法

• 構造的でマルチブロックなグリッド上で、2次精度の有限差分／有限体積法による非圧縮性ナビエ＝ストークス方程式の離散化を実施する。
• 1つの均一（押し出し方向）に沿ってFFTベースの固有関数展開を適用し、3次元ポアソン方程式を独立した2次元ヘルムホルツ問題に分解する。
• 各低次元化された2次元問題は幾何的多重グリッド（GMG）ソルバで解き、高性能並列化のためハイブリッド（hypre）ライブラリを用いる。
• 統一されたフレームワークにより、固有関数展開の境界条件のすべての有効な組み合わせ（周期的でないものも含む）をサポートする。
• 2次元問題間の収束速度の非一様性に対応し、負荷をバランスさせるためにスライスドパencilスアプローチを採用し、並列効率を向上させる。
• MPIを用いた大量並列環境で全アルゴリズムを実装し、通信オーバーヘッドを最小限に抑え、極限スケールシステムにおける強スケーリングと弱スケーリングを確保する。

実験結果

リサーチクエスチョン

• RQ1 FFTベースの固有関数展開を、マルチブロックで非周期的な幾何形状に効果的に拡張できるか。これにより、非圧縮性流れのDNSにおけるポアソン方程式の解法が高速化できるか。
• RQ2 現代のHPCシステムにおいて、FFT加速と幾何的多重グリッドの組み合わせが、スケーラビリティと計算効率の面でどの程度の性能を示すか。
• RQ3 収束速度のばらつきが生じる2次元低次元問題をプロセッサに分配する最適なパーティショニング戦略は何か。特に、壁時刻の短縮を目的とした負荷バランスと通信最小化を考慮する。
• RQ4 従来のソルバーよりも顕著な高速化（例：2～8倍）を達成できるか。また、高精度を維持し、複雑な境界条件をサポートできるか。
• RQ5 極限の問題サイズとコア数において、本ソルバは、ナーブなまたは非最適な並列化戦略と比較して、どの程度スケーリングするか。

主な発見

• FFT加速アプローチにより、非FFT手法と比較してポアソン方程式の解法に最大8倍の計算コスト低減が達成され、シミュレーションでは2～8倍の高速化が観察された。
• ベーツィー超コンピュータ上で65,536コアまで、弱スケーリングおよび強スケーリングに優れた性能を示し、1グリッドポイントあたりの壁時刻がほぼ理想に近いスケーリングを達成した。
• FFT加速を施した3次元多重グリッド（3D MG w/ FFT）は、極限スケールで他のすべての構成よりも優れた性能を示した。一方、ナーブな2次元MG w/ FFTアプローチは通信と負荷不均衡のため失敗または低性能に終わった。
• p ≈ 16のスライスドパencilスアプローチは、タスクあたりの負荷と収束の非一様性の両方のバランスをうまく取っており、タスク配分の最適化により1タイムステップあたりの壁時刻を短縮した。
• 統一されたフレームワークにより、固有関数展開の境界条件の多様性を効果的に処理し、従来のFFTベースのソルバーよりも広範な適用範囲を実現した。
• SNaCソルバはMITライセンスの下でオープンソースとして公開されており、リフティングキャビティなどの代表的流れに対して検証が行われ、高い精度と性能を示した。