[論文レビュー] Multi-agent reinforcement learning for wall modeling in LES of flow over periodic hills

Di Zhou, Michael P. Whitmore+2 more|arXiv (Cornell University)|Nov 29, 2022

Fluid Dynamics and Turbulent Flows被引用数 4

ひとこと要約

本稿では、周期的ヒルの乱流流れの Large-eddy simulation (LES) のためのマルチエージェント強化学習 (MARL) ベースの壁モデルを提案する。局所的な流れ状態を用いて壁乱流粘性係数を最適化し、壁摩擦応力を予測する。このモデルは、高分解能の訓練データを必要とせず、圧力勾配効果に強く、さまざまなレイノルズ数において平均速度、圧力、摩擦応力場を捕捉する点で、従来の平衡壁モデルを上回る。

ABSTRACT

We develop a wall model for large-eddy simulation (LES) that takes into account various pressure-gradient effects using multi-agent reinforcement learning (MARL). The model is trained using low-Reynolds-number flow over periodic hills with agents distributed on the wall along the computational grid points. The model utilizes a wall eddy-viscosity formulation as the boundary condition, which is shown to provide better predictions of the mean velocity field, rather than the typical wall-shear stress formulation. Each agent receives states based on local instantaneous flow quantities at an off-wall location, computes a reward based on the estimated wall-shear stress, and provides an action to update the wall eddy viscosity at each time step. The trained wall model is validated in wall-modeled LES (WMLES) of flow over periodic hills at higher Reynolds numbers, and the results show the effectiveness of the model on flow with pressure gradients. The analysis of the trained model indicates that the model is capable of distinguishing between the various pressure gradient regimes present in the flow.

研究の動機と目的

• 乱流流れにおける複雑な圧力勾配効果に適応できる、データ効率の良いLES用壁モデルの開発。
• 零圧力勾配流れからのマルチエージェント強化学習 (MARL) を、周期的ヒルの上に強い圧力勾配を有する流れに拡張すること。
• 高分解能シミュレーションデータに依存せずに、局所的な流れ状態と壁摩擦応力の回復を報酬として用いて壁モデルを訓練すること。
• 訓練時に用いなかったより高いレイノルズ数における壁モデル化LES (WMLES) でのモデル性能の妥当性を検証すること。
• 異なる流れ状態およびメッシュ解像度にわたるモデルの一般化能力を評価すること。

提案手法

• 壁に隣接するグリッド点に複数の強化学習エージェントを分散配置し、局所的な壁乱流粘性係数の調整を学習する。
• 各エージェントは、局所的な瞬時の流れの量（例：流れ方向速度、ひずみ率）を入力状態として用い、壁乱流粘性係数を更新するための行動を計算する。
• 報酬関数は、予測された壁摩擦応力の正確さに基づき、正しい摩擦応力を収束させるよう促進する。
• MARLフレームワークにより、エージェント間で共有される方策を時系列差分学習を用いて訓練し、正確な壁応力予測のための長期的報酬を最適化する。
• 壁モデルは壁乱流粘性係数の式として実装され、LESにおける標準的な壁摩擦応力境界条件に置き換える。
• 訓練は低レイノルズ数の周期的ヒル流れで実施され、モデルはより高いレイノルズ数のWMLESシミュレーションでテストされる。

実験結果

リサーチクエスチョン

• RQ1 MARLベースの壁モデルは、周期的ヒルの上に強い圧力勾配を有する流れにおいて、壁摩擦応力を効果的に捉えることができるか？
• RQ2 MARL壁モデルは、平均速度およびレイノルズ応力プロファイルの予測において、平衡壁モデル（EQWM）と比べてどの程度優れているか？
• RQ3 訓練時に用いなかったより高いレイノルズ数に、訓練済みのMARLモデルがどの程度一般化できるか？
• RQ4 MARLモデルは、流れ場における異なる圧力勾配状態（例：悪化、有利）を区別できるか？
• RQ5 モデルの性能は、メッシュ解像度や小スケールモデルの選択にどの程度敏感か？

主な発見

• MARL壁モデルは、訓練時のレイノルズ数において、周期的ヒルのLESで平均壁摩擦応力、平均壁圧力、平均速度プロファイルを良好な精度で予測できた。
• $Re_H = 10595$ において、MARLモデルは分離気泡のサイズと形状、および風上側の最大壁摩擦応力の予測において、EQWMを上回った。
• $Re_H = 19000$ および $37000$ において、モデルは平均皮膚摩擦係数についてWRLESデータと良好な一致を示したが、レイノルズ数が上昇するに従い性能がわずかに低下した。
• 粗いメッシュのRLWMシミュレーション（$Re_H = 19000$）は、ベースラインメッシュよりもWRLESとより良好に一致しており、メッシュ感度の可能性を示唆した。
• 悪化圧力勾配領域と有利圧力勾配領域における異なる状態-行動パターンの明確な差異が観察されたことから、モデルは異なる圧力勾配状態を区別できる能力を示した。
• 高分解能訓練データを必要とせず、優れた予測性能を達成したため、本モデルはデータ効率的かつ物理的知識を組み込んだ学習能力を確認した。