[論文レビュー] Turbulence closure with small, local neural networks: Forced two-dimensional and $β$-plane flows

Kaushik Srinivasan, Mickaël D. Chekroun+1 more|arXiv (Cornell University)|Apr 11, 2023

Fluid Dynamics and Turbulent Flows被引用数 5

ひとこと要約

本稿では、再現性の高い高解像度データを用いて訓練し、SGS渦度フラックスの発散を最小化することで、高レイノルズ数（Re ~ 25,000）における強制された2次元およびβ平面上の乱流において、約1,000パラメータの小さな2層畳み込みニューラルネットワーク（CNN）を用いた乱流閉じ込め手法を提案する。周期的学習率の緩和とハイパーパrameter最適化を組み合わせることで、16倍のダウンスケーリングにおいても安定かつ高精度な長期シミュレーションが達成され、訓練効率と頑健性が向上した。本研究は、記憶項やエネルギー制約を必要としない浅い、局所的応答性を持つネットワークが、SGS動態を効果的に捉えることができることを示している。

ABSTRACT

We parameterize sub-grid scale (SGS) fluxes in sinusoidally forced two-dimensional turbulence on the $β$-plane at high Reynolds numbers (Re$\sim$25000) using simple 2-layer Convolutional Neural Networks (CNN) having only O(1000)parameters, two orders of magnitude smaller than recent studies employing deeper CNNs with 8-10 layers; we obtain stable, accurate, and long-term online or a posteriori solutions at 16X downscaling factors. Our methodology significantly improves training efficiency and speed of online Large Eddy Simulations (LES) runs, while offering insights into the physics of closure in such turbulent flows. Our approach benefits from extensive hyperparameter searching in learning rate and weight decay coefficient space, as well as the use of cyclical learning rate annealing, which leads to more robust and accurate online solutions compared to fixed learning rates. Our CNNs use either the coarse velocity or the vorticity and strain fields as inputs, and output the two components of the deviatoric stress tensor. We minimize a loss between the SGS vorticity flux divergence (computed from the high-resolution solver) and that obtained from the CNN-modeled deviatoric stress tensor, without requiring energy or enstrophy preserving constraints. The success of shallow CNNs in accurately parameterizing this class of turbulent flows implies that the SGS stresses have a weak non-local dependence on coarse fields; it also aligns with our physical conception that small-scales are locally controlled by larger scales such as vortices and their strained filaments. Furthermore, 2-layer CNN-parameterizations are more likely to be interpretable and generalizable because of their intrinsic low dimensionality.

研究の動機と目的

• 計算コストが低く、安定した高レイノルズ数2次元およびβ平面乱流の乱流閉じ込めを、最小限のニューラルネットワークを用いて開発すること。
• 深層構造や記憶項を必要としない浅く局所的なCNNが、エネルギー保存や保存則を課さずに、サブグリッドスケール（SGS）応力の正確なパラメータ化が可能かどうかを調査すること。
• 特に周期的学習率の緩和とハイパーパrameterサーチを含む最適化手法が、オンライン大渦シミュレーション（LES）設定におけるモデルの安定性と精度に与える影響を評価すること。
• 粗大スケールの速度、渦度、ひずみ場への依存性を分析することで、小さなCNNの物理的解釈可能性と一般化可能性を評価すること。
• エネルギーまたはエンストロフィー保存を強制しないで閉じ込めを達成できるかどうかを検証し、SGSモデリングにおける従来の仮定に挑戦すること。

提案手法

• 2層畳み込みニューラルネットワーク（CNN）を、速度、渦度、ひずみ場などの粗大スケール入力を用いて、非対称応力テンソル $\boldsymbol{S}_d$ を予測するように訓練する。
• 損失関数は、高解像度ソルバーから得られるSGS渦度フラックスの発散と、CNNが予測する発散との差を最小化するが、エネルギーまたはエンストロフィー保存の制約は課さない。
• 学習率の周期的緩和を用いることで、学習の安定性と収束性を向上させ、固定学習率の選択に敏感になるのを軽減する。
• モデル性能を最適化するため、学習率と重み減衰係数の空間における包括的なハイパーパラメータグリッドサーチを実施する。
• モデルの評価は、保存データを用いたオフライン評価と、リアルタイムシミュレーションでのオンライン評価の両方で実施し、大渦シミュレーションにおける長期的な精度と安定性を評価する。
• アーキテクチャは局所的応答性を持つように設計されており、小スケール応力が主に周囲の大きな構造（渦やそのひずみフィラメント）によって支配されることを物理的直感に従っている。

Figure 1. Snapshots after $t$ = 2 $\times 10^{6}\Delta t$ for $\beta=0$ of a) DNS vorticity $\omega$ b) Filtered DNS vorticity, $\bar{\omega}$ c) SGS vorticity field, $\omega^{\prime}=\omega-\bar{\omega}$ d) SGS stress divergence, $\Pi$ . Same for e)-f) but for $\beta=20$ ; note the jets along the $

実験結果

リサーチクエスチョン

• RQ1 約1,000パラメータの浅い2層CNNが、高レイノルズ数2次元およびβ平面乱流におけるサブグリッドスケール応力を正確にパラメータ化できるか？
• RQ2 周期的学習率の緩和を用いることで、固定学習率と比較して、オンライン大渦シミュレーションの実行における頑健性と精度が顕著に向上するか？
• RQ3 SGS応力テンソルが粗大スケール場にどの程度局所的に依存しているか。また、その局所性を活用することで、モデルの複雑さを軽減し、解釈可能性を向上できるか？
• RQ4 損失関数にエネルギーまたはエンストロフィー保存制約を課さずに、正確な乱流閉じ込めを達成できるか？
• RQ5 浅いCNNの成功は、この種の乱流流れにおいて、モーリ＝ツワンツィグ形式における記憶項が不要であることを示唆するか？

主な発見

• 提案された2層CNN（約1,000パラメータ）は、Re ~ 25,000の強制された2次元およびβ平面乱流において、16倍のダウンスケーリングでも安定かつ高精度な長期オンラインシミュレーションを達成した。
• 周期的学習率の緩和は、オフラインおよびオンライン両設定において、固定学習率スケジュールよりも学習の安定性とモデルの忠実性を顕著に向上させた。
• エネルギーまたはエンストロフィー保存を強制しなくても高精度を達成したため、この領域ではこのような制約が有効な閉じ込めに必要ではないことが示された。
• 浅く局所的応答性を持つネットワークの成功は、SGS応力が粗大場に対して弱い非局所的依存性を示していることを支持しており、小スケール動態が主に局所的な大スケール構造によって支配されているという仮説を裏付けた。
• モデルの性能は、粗大変数を条件とする未解決変数の条件付き期待値が、CNNによって近似可能であり、Chekrounら（2020）の定める最適パラメータマニフォールド（OPM）の存在と整合的であることを示唆した。
• 結果は、この種の乱流流れにおいて、モーリ＝ツワンツィグ形式における記憶項が不要であることを挑戦し、粗大変数の低次元非線形関数が適切に訓練されれば、正確な閉じ込めが十分に達成可能であることを示した。

Figure 2. $x$ - and $y$ -sections of the spatial cross-correlations between $\Pi$ and the resolved vorticity field, $\bar{\omega}$ . For $\beta=0$ , the correlations along both directions are nearly symmetric so only one of them is shown. For finite $\beta$ , the cross-jet correlation length (along