[論文レビュー] A Solver for Massively Parallel Direct Numerical Simulation of Three-Dimensional Multiphase Flows

Seungwon Shin, Jalel Chergui+1 more|arXiv (Cornell University)|Oct 30, 2014

Fluid Dynamics and Heat Transfer参考文献 37被引用数 5

ひとこと要約

本稿では、MPIを用いたドメイン分割による、ハイブリッドフロントトラッキング/レベルセット法（LCRM）を用いた、マルチフェーズ流れのための巨大並列的、完全3次元直接数値シミュレーションソルバを提示する。65,536スレッドまで高い並列スケーラビリティを達成し、1024³の解像度でドロップレットの衝突、クラウン形成、リム不安定性といった複雑な界面動態を解像し、不連続な物性を持つ剛性の高い流体系に対して、並列GMRESおよび多重グリッドソルバを用いて強力な性能を示した。

ABSTRACT

We present a new solver for massively parallel simulations of fully three-dimensional multiphase flows. The solver runs on a variety of computer architectures from laptops to supercomputers and on 65536 threads or more (limited only by the availability to us of more threads). The code is wholly written by the authors in Fortran 2003 and uses a domain decomposition strategy for parallelization with MPI. The fluid interface solver is based on a parallel implementation of the LCRM hybrid Front Tracking/Level Set method designed to handle highly deforming interfaces with complex topology changes. We discuss the implementation of this interface method and its particular suitability to distributed processing where all operations are carried out locally on distributed subdomains. We have developed parallel GMRES and Multigrid iterative solvers suited to the linear systems arising from the implicit solution of the fluid velocities and pressure in the presence of strong density and viscosity discontinuities across fluid phases. Particular attention is drawn to the details and performance of the parallel Multigrid solver. The code includes modules for flow interaction with immersed solid objects, contact line dynamics, species and thermal transport with phase change. Here, however, we focus on the simulation of the canonical problem of drop splash onto a liquid film and report on the parallel performance of the code on varying numbers of threads. The 3D simulations were run on mesh resolutions up to $1024^3$ with results at the higher resolutions showing the fine details and features of droplet ejection, crown formation and rim instability observed under similar experimental conditions. Keywords:

研究の動機と目的

• 複雑に変形する界面を有する大規模で完全3次元の直接数値シミュレーションを可能にする。
• ラップトップからエクサスケールシステムまで、さまざまなアーキテクチャで効率的に実行可能なスケーラブルでポータブルなソルバを開発する。
• トポロジー変化、接触線、相変化といった界面動態を高精度にシミュレートする。
• 密度および粘度の大きな対比を示す相間で生じる剛性の高い流体系を解く計算課題に対処する。

提案手法

• 3次元における複雑でトポロジーが変化する流体界面を追跡するための並列的ハイブリッドフロントトラッキング/レベルセット法（LCRM）の実装。
• MPIを用いたドメイン分割により、数千スレッドにわたる計算負荷のバランスと計算作業の効率的配分を実現。
• 不連続な材料特性を有するナビエ＝ストークス方程式の陰的時間積分から生じる線形方程式系を解くために、並列GMRESおよび多重グリッド反復ソルバを特化して開発。
• 分散メモリシステムにおける通信オーバーヘッドを最小限に抑えるために、サブドメイン上で局所的処理を組み込む。
• 浸漬された固体物体、接触線動態、および相変化を伴う種物質・熱輸送のモジュールを統合。
• 適応的メッシュ細分化と陰的時間刻みを用いて、微細な界面現象を解像し、安定性と正確性を維持。

実験結果

リサーチクエスチョン

• RQ1 複雑な界面トポロジー変化を有する3次元マルチフェーズ流れを効率的にシミュレートできる巨大並列ソルバは、どのように設計できるか？
• RQ2 最大65,536スレッドの大型分散システムにおいて、このソルバのスケーラビリティおよびパフォーマンスはどの程度か？
• RQ3 実験的ドロップレット衝突で観察された微細な特徴、例えばドロップレットの飛散、クラウン形成、リム不安定性を、このソルバは解像できるか？
• RQ4 強い密度および粘度対比を示す相間で生じる剛性を、並列多重グリッドおよびGMRESソルバはどの程度効果的に処理できるか？
• RQ5 完全陰的でモノリシックなアプローチを用いた場合、複雑な界面動態のシミュレーションでどの程度の解像度と正確性を達成できるか？

主な発見

• ソルバは最大65,536スレッドで安定的かつスケーラブルなパフォーマンスを達成し、ハードウェアの制限のみが限界であった。
• 1024³解像度のシミュレーションは、実験的に観察された特徴（ドロップレットの飛散、クラウン形成、リム不安定性）を的確に捉えた。
• 並列多重グリッドソルバは、強い物性不連続性が存在する場合でも、陰的時間積分から生じる線形方程式系を効率的に解くことができた。
• ハイブリッドLCRM法は、破断や再接続を含む複雑な界面トポロジー変化を、高い正確性で効果的に処理できた。
• コードは、ラップトップからリーダーシップクラスのスーパーコンピュータまで、多様なアーキテクチャで優れたポータビリティとパフォーマンスを示した。
• 接触線動態および相変化モジュールの統合により、理想化された流れを超えたより現実的な物理的状況のシミュレーションが可能になった。