[論文レビュー] Automating Turbulence Modeling by Multi-Agent Reinforcement Learning

Guido Novati, Hugues Lascombes de Laroussilhe+1 more|arXiv (Cornell University)|May 18, 2020

Fluid Dynamics and Turbulent Flows参考文献 33被引用数 15

ひとこと要約

本稿では、乱流のための大渇きシミュレーション（LES）におけるサブグリッドスケール（SGS）モデルを自動で発見するためのマルチエージェント強化学習（MARL）フレームワークを提案する。直接数値シミュレーション（DNS）データのスペクトル回復に基づく報酬を最適化するために協調するエージェントを訓練することで、従来の手法を上回る適応的で一般化可能なSGSモデルが学習され、グリッド解像度やレイノルズ数の変化に対しても汎用性を示す。

ABSTRACT

The modeling of turbulent flows is critical to scientific and engineering problems ranging from aircraft design to weather forecasting and climate prediction. Over the last sixty years numerous turbulence models have been proposed, largely based on physical insight and engineering intuition. Recent advances in machine learning and data science have incited new efforts to complement these approaches. To date, all such efforts have focused on supervised learning which, despite demonstrated promise, encounters difficulties in generalizing beyond the distributions of the training data. In this work we introduce multi-agent reinforcement learning (MARL) as an automated discovery tool of turbulence models. We demonstrate the potential of this approach on Large Eddy Simulations of homogeneous and isotropic turbulence using as reward the recovery of the statistical properties of Direct Numerical Simulations. Here, the closure model is formulated as a control policy enacted by cooperating agents, which detect critical spatio-temporal patterns in the flow field to estimate the unresolved sub-grid scale (SGS) physics. The present results are obtained with state-of-the-art algorithms based on experience replay and compare favorably with established dynamic SGS modeling approaches. Moreover, we show that the present turbulence models generalize across grid sizes and flow conditions as expressed by the Reynolds numbers.

研究の動機と目的

• 従来の物理的仮定に基づく乱流モデルの限界を克服すること。これらはエンジニアリング的直感に依存しており、一般化が難しい。
• 既存の教師あり機械学習手法が訓練データの外で一般化に失敗する問題に対処すること。
• 強化学習を用いて、自動的かつデータ駆動のフレームワークを構築し、効果的なSGSモデルを発見すること。
• 異なるグリッド解像度や流れの条件（例えば、レイノルズ数の変化）にわたって一般化する閉形式モデルの発見を可能にすること。

提案手法

• 複数のエージェントを配置し、各エージェントが共有制御方策 $ \pi_{\mathbf{w}} $ を用いてグリッド点におけるSGS散逸係数 $ C_s^2 $ の推定を担当する。
• 各エージェントの状態 $ \mathbf{s}(\mathbf{x},t) $ を、局所的な流れ不変量（速度勾配およびヘッセ行列不変量）とグローバルな流れ統計（エネルギースペクトル、粘性散逸率および全散逸率）の組み合わせとして定義する。
• LESエネルギースペクトルがDNSのターゲットと一致する正則化された対数尤度に基づく報酬関数を用いて、マルチエージェント強化学習アルゴリズムでエージェントを最適化する。
• 学習の安定化とサンプル効率の向上を図るために、経験再生とオフポリシー学習をMARLフレームワークで活用する。
• 報酬の2種類のバリエーションを導入する：スペクトル精度を重視するもの（$ r^{LL} $）と、ドイツァノ恒等式による物理的整合性を組み込むもの（$ r^G $）。
• スマートイーズRLライブラリを用いて、流れソルバーカブリズムアップ3Dがシミュレーションのダイナミクスとフィードバックを提供する形で、ポリシーをエンドツーエンドで訓練する。

実験結果

リサーチクエスチョン

• RQ1 マルチエージェント強化学習は、物理的仮定に依存せずに、直接数値シミュレーション（DNS）の統計的性質を再現するサブグリッドスケールモデルを発見できるか？
• RQ2 MARLによって得られたSGSモデルは、従来のモデルと比較して、異なるグリッド解像度やレイノルズ数においてどれほど一般化するか？
• RQ3 MARLフレームワークは、スペクトル精度を向上させながら、ドイツァノ恒等式を満たす物理的整合性のあるモデルを学習できるか？
• RQ4 正則化された対数尤度に基づく報酬を用いることで、直接確率に基づく報酬よりも最適化の安定性が向上するか？
• RQ5 MARLベースのモデルは、エネルギースペクトル回復および乱流統計の観点から、確立されたダイナミックス・スマゴリンスキーおよび標準的スマゴリンスキー・モデルを上回ることができるか？

主な発見

• MARLベースのSGSモデルは、ダイナミックス・スマゴリンスキー・モデルと同等またはそれ以上のスペクトル精度を達成し、平均で10%のスペクトル誤差削減を実現した。
• 対数尤度の導関数を組み込んだ $ r^{LL} $ 報酬で訓練されたモデルは、学習過程でより速い収束と向上した安定性を示した。
• MARLモデルは、異なるグリッドサイズやレイノルズ数にわたって効果的に一般化し、訓練条件を越えてテストしても正確なエネルギースペクトルを維持した。
• 報酬にドイツァノ恒等式を組み込んだ $ r^G $ を用いることで、クリッピングによって物理的に不適切な負の $ C_s^2 $ 値を回避する物理的整合性のあるモデルが得られた。
• 本手法は、等方的乱流の主要な統計的性質（エネルギースペクトル、散逸率など）を回復する閉形式モデルを効果的に学習した。
• フレームワークは、強化学習が乱流モデリングのための代替的で自動化された発見ツールとして有効であることを示しており、ヒューリスティック的または物理的仮定への依存を低減できる。