[論文レビュー] HPC realization of a controlled turbulent round jet using OpenFOAM

Asim Önder, Johan Meyers|arXiv (Cornell University)|Jun 27, 2014

Fluid Dynamics and Turbulent Flows参考文献 9被引用数 3

ひとこと要約

本稿は、低レイノルズ数（ReD = 2000）の乱流円形ジェットをゼロネットマスフラックス（ZNMF）アクチュエータで制御する直接数値シミュレーション（DNS）におけるOpenFOAMの高性能計算（HPC）能力を向上させている。並列統計平均とグリッド分割を組み合わせ、増分型投影法を実装することで、624プロセッサで30%の高速化と並列効率87%を達成し、スケーラビリティが著しく向上し、乱流統計の収集にかかるウォールタイムが短縮された。

ABSTRACT

The present paper investigates high performance computing abilities of OpenFOAM for a low Reynolds number ($Re_D=2000$) axisymmetric jet subject to multiple zero net mass flux (ZNMF) actuators. First, parallel performance of OpenFOAM is tested by performing a scaling study up to $2048$ processors on a supercomputer of Flemish Supercomputer Center(VSC). Then, a method to improve the parallel efficiency is proposed. The method is based on developing a hybrid concept to calculate the statistical moments. This new concept combines ensemble and time averaging in order to allow data sampling in parallel. The motivation is obtaining a reduction in the walltime to collect turbulent statistics which is observed to be the dominating part in the ZNMF controlled jet flow. Employing this parallel statistical averaging approach in combination with regular grid partitioning parallelism, allowed us conducting DNS cases on $P=624$ processors with an overall speed-up of $S_e=540.56$ and a parallel efficiency of $E_e=0.87$. The parallelization using only grid partitioning exhibited inferior performance with $S_e=423.94$ and $E_e=0.68$. In addition to develop a methodology to increase the parallel performance, we reduced the time step cost of the existing unsteady solver as well. To this end, an incremental projection method is implemented into OpenFOAM and a performance gain above $30\%$ is realized.

研究の動機と目的

• 低レイノルズ数（ReD = 2000）の高精度でZNMF制御された乱流円形ジェットをシミュレートする際、OpenFOAMのスケーラビリティが限られている問題を解決すること。
• 非定常DNSシミュレーションにおける乱流統計収集にかかる主なウォールタイムコストを低減すること。
• アンサンブル平均とグリッド分割を組み合わせることで、負荷バランスとデータサンプリングの改善を図り、並列効率を向上させること。
• 反復的でない増分型投影法への置き換えにより、非定常ソルバにおけるタイムステップコストを低減すること。

提案手法

• スーパーコンピュータ（VSC）上でOpenFOAMを用い、複数のZNMFアクチュエータを備えた軸対称乱流円形ジェットのDNSを実施した。
• 効率的な並列データサンプリングを可能にするために、アンサンブル平均と時間平均を組み合わせたハイブリッド統計平均法を実装した。
• スケーリングスタディにおいて、最大2048プロセッサで負荷バランスをとるためにグリッド分割によるドメイン分割を用いた。
• 運動量方程式と連続の式を反復的でない方法で解く増分型投影法を導入し、2次精度を保持した。
• 標準的な反復的PISOアルゴリズムを非反復的スキームに置き換えることでソルバを最適化し、タイムステップコストを削減した。
• 強スケーリングテストと異なる設定における並列効率・スピードアップの比較を通じて、性能向上を検証した。

実験結果

リサーチクエスチョン

• RQ1 並列統計平均とグリッド分割を組み合わせることで、ZNMF制御ジェットのDNSにおけるOpenFOAMのスケーラビリティが著しく向上するか？
• RQ2 増分型投影法は、OpenFOAMの非定常ソルバにおけるタイムステップ性能にどのような影響を及ぼすか？
• RQ3 ハイブリッド統計平均法は、従来のグリッド分割のみの方法と比較して、並列効率とスピードアップにおいてどのように異なるか？
• RQ4 アンサンブルメンバー数（R）を増やすことで、統計的データ収集中の並列効率をさらに向上させられる程度はどの程度か？
• RQ5 駆動周波数が制御された乱流ジェットにおけるコherent構造の発展と混合効率に与える影響は何か？

主な発見

• ハイブリッド統計平均法により、624プロセッサで有効スピードアップ540.56、並列効率87%を達成し、グリッド分割のみの方法（スピードアップ423.94、効率68%）を著しく上回った。
• 増分型投影法により、タイムステップコストが30%以上削減され、非定常ソルバにおける性能向上が顕著に示された。
• 自然ジェット不安定性周波数に近い駆動周波数（例：Con1）を有する制御ケースでは、強化されたコherent構造と下流でのスペクトルピークの延長が観察された。
• エンtrainment率とスカラー減衰率は、制御ケース（Con0.5、Con1、Con2）で顕著に向上し、特にCon1が最良の混合効率を示した。
• スペクトル解析により、特に低周波数駆動ケースでは、バーチャルペアリングに起因する明確な駆動周波数ピークとサブハーモニクスが観察された。
• 結果から、現在のR=4の制限を超えてアンサンブルメンバー数（R）を増やすことで、さらなる性能向上の可能性があることが示唆された。