[論文レビュー] Turbulence closure modeling with data-driven techniques: Investigation of generalizable deep neural networks

Salar Taghizadeh, Freddie Witherden+2 more|arXiv (Cornell University)|Feb 2, 2021

Model Reduction and Neural Networks参考文献 114被引用数 26

ひとこと要約

本研究では、簡略化されたプロキシ物理学乱流モデルを用いて、RANSレベルにおける完全結合深層ニューラルネットワーク（DNN）の一般化可能性を調査する。膨大なハイパーパramータチューニングを行っても、DNNは妥当な精度に到達するためには真のモデルよりも顕著に多くのパラメータを必要とし、特に非線形性と分岐が存在する場合には外挿において性能が急激に低下する。これは、実世界の応用においてデータ駆動型RANSモデルが直面する根本的な課題を示している。

ABSTRACT

Generalizability of machine-learning (ML) based turbulence closures to accurately predict unseen practical flows remains an important challenge. At the Reynolds-averaged Navier-Stokes (RANS) level, NN-based turbulence closure modeling is rendered difficult due to two important reasons: inherent complexity of the constitutive relation arising from flow-dependent non-linearity and bifurcations; and, inordinate difficulty in obtaining high-fidelity data covering the entire parameter space of interest. In this context, the objective of the work is to investigate the approximation capabilities of standard moderate-sized fully-connected NNs. We seek to systematically investigate the effects of: (i) intrinsic complexity of the solution manifold; (ii) sampling procedure (interpolation vs. extrapolation) and (iii) optimization procedure. To overcome the data acquisition challenges, three proxy-physics turbulence surrogates of different degrees of complexity (yet significantly simpler than turbulence physics) are employed to generate the parameter-to-solution maps. Even for this simple proxy-physics system, it is demonstrated that feed-forward NNs require more degrees of freedom than the original proxy-physics model to accurately approximate the true model even when trained with data over the entire parameter space (interpolation). Additionally, if deep fully-connected NNs are trained with data only from part of the parameter space (extrapolation), their approximation capability reduces considerably and it is not straightforward to find an optimal architecture. Overall, the findings provide a realistic perspective on the utility of ML turbulence closures for practical applications and identify areas for improvement.

研究の動機と目的

• データ駆動型深層ニューラルネットワーク（DNN）がRANSシミュレーションにおける乱流閉じ込めモデルに一般化可能かどうかを評価すること。
• 内在的な解多様体の複雑さ、サンプリング戦略（内挿対外挿）および最適化手順がDNN性能に与える影響を調査すること。
• 中程度のサイズの完全結合DNNが、複雑で非線形的かつ分岐を示す乱流構成関係を正確に近似できるかどうかを評価すること。
• 特にデータスパarsityと非線形性に起因する、DNNのトレーニングにおける主な課題を特定すること。
• 未知の工学的流れに対して機械学習強化型RANSモデルの実用的妥当性を現実的かつ包括的に評価すること。

提案手法

• 非線形性がなく分岐を伴わない、やや非線形で分岐を伴う、中程度の非線形性と分岐を伴う、という複雑度が段階的に上昇する3種類のプロキシ物理学乱流モデルを用いて、パラメータから解へのマップを生成した。
• 高精度なデータは、近似レイノルズ応力モデル（ARSM）を用い、SSGモデルを組み合わせて、さまざまなパラメータ領域における乱流挙動をシミュレートすることで生成された。
• 局所的に最適な構成を同定するために、活性化関数、ネットワークの深さ、幅、学習率、バッチサイズ、最適化手法、正則化係数の全範囲でブルートフォースなハイパーパramータスイープを実施した。
• 完全結合の前向き伝搬DNNを、AdamやRMSPropを用いた確率的最適化とL2正則化でトレーニングし、訓練およびテストデータにおける平均絶対誤差率（MAPE）を評価指標として性能を評価した。
• 一般化性能をテストするために、部分的なパラメータ空間でのトレーニング（外挿）を行い、未学習領域での評価を実施し、実世界の展開シナリオを模倣した。
• 体系的なアブレーションスタディを実施し、個々のハイパーパramータがモデルの精度および耐性に与える影響を分離して評価した。

実験結果

リサーチクエスチョン

• RQ1 中程度のサイズの完全結合DNNは、RANSモデルにおける複雑で非線形的かつ分岐を示す乱流構成関係を正確に近似できるか？
• RQ2 解多様体の内在的複雑さ（非線形性および分岐）が、DNNの近似精度および一般化性能に与える影響は何か？
• RQ3 トレーニングデータのサンプリング戦略（内挿対外挿）が、DNNの一般化性能に与える影響は何か？
• RQ4 ハイパーパラメータの選択（活性化関数、学習率、バッチサイズ、最適化手法、正則化）が、DNNベースの乱流モデルの精度および耐性に与える影響は何か？
• RQ5 非線形性と分岐が存在する状況下でも、体系的なハイパーパラメータスイープにより、局所的に最適なDNNアーキテクチャを信頼性を持って同定できるか？

主な発見

• パラメータ空間全体での内挿においても、DNNは妥当な精度に到達するためには真のプロキシ物理学モデルよりも顕著に多くの自由度（パラメータ数）を必要とした。これは、モデルの複雑さに起因する高いオーバーヘッドを示している。
• パラメータ空間の一部でのみトレーニングした場合（外挿）、DNNの性能は著しく低下し、一部のケースではテストMAPEが10%を超えるまで上昇した。
• 解多様体に非線形性と分岐が併存する場合、最も高いテスト誤差が観測された。ReLUとSigmoid活性化関数を用いた最適チューニング下では、それぞれ8.53%および4.39%のMAPEを示した。
• 活性化関数の観点から見ると、Sigmoidはより大きなネットワークアーキテクチャと組み合わせることで、最低のテストMAPE（4.39%）を達成した。一方、Leaky-ReLUおよびTanhは、それぞれ11.60%および12.03%の高い誤差を示した。
• 最適なハイパーパラメータは、問題の構造に強く依存していた。Sigmoid活性化関数を用いたネットワークでは、学習率1e-3、バッチサイズ50、L2正則化（λ=0.1）が最良の結果をもたらした。
• 本研究では、一般化の失敗が単にデータ不足に起因するのではなく、特に分岐を含む幾何学的・位相的複雑さに根本的に関係していることが示された。