[論文レビュー] Prediction of Extreme Events in Multiscale Simulations of Geophysical Turbulence using Reinforcement Learning

Yifei Guan, Lucas Amoudruz+5 more|arXiv (Cornell University)|Feb 26, 2026

Meteorological Phenomena and Simulations被引用数 0

ひとこと要約

論文は、エンストロフィー分布を報酬とするSMARLベースの枠組みを用いて地球物理乱流のサブグリッドスケール閉じこめを学習し、極端イベント統計を再現する安定したLESを、学習サンプルを数桁削減して可能にする。

ABSTRACT

Accurate subgrid-scale closures are essential for weather/climate models, where predicting extreme events is critical. Traditional closures have structural errors, e.g., producing excessive diffusion that dampens extremes. Artificial intelligence has gained attention for closure modeling, but the prediction of extreme events remains challenging. Supervised offline learning needs abundant high-fidelity training data and can lead to instabilities. Online learning algorithms are emerging as an alternative, but reliance on differentiable numerical solvers or scalable optimizers hinders broad use. Here, we introduce SMARL to develop closures for canonical prototypes of atmospheric/oceanic turbulence, using only the enstrophy spectrum, estimated from a few high-fidelity samples, as reward. This reward ensures that the model captures the cascades of scales in these simulations. These online-learned closures enable stable simulations, with up to five orders of magnitude fewer degrees of freedom, that reproduce high-fidelity simulation statistics and capture in particular extremes. We interpret the closures by analyzing the SMARL policy and demonstrate generalization to other flows. The results highlight SMARL as a potent tool for developing closures capable of capturing extremes in atmospheric/oceanic flows, opening new capabilities for effective climate modeling.

研究の動機と目的

• 天気・気候モデルにおける極端イベントの正確な予測を経済的な計算コストで実現する動機付け。
• 高忠実度データへの依存を減らすオンラインでデータ効率的なLES閉じこみの開発。
• 地球物理乱流のLeith型閉じこみを学習するSMARLフレームワークの提案。
• 学習済み閉じこみを用いて複数ケースおよびレイノルズ数でのLESの安定性と精度を示す。

提案手法

• LESカットオフまでのエンストロフィー分布 hatZ(k,t) の関数として動的Leith閉じこみ係数 c_l を学習する（c_l = f_DNN(hatZ(k,t))）。
• LESグリッド上に分散配置されたn_Ax × n_Ayのエージェントが共有ポリシーを介して c_l を出力する。
• 状態は k_c までのエンストロフィー分布 hatZ_LES、行動は局所的な c_l をグリッドへ補間したもの。
• differentiableソルバを必要とせず、低解像度のLESソルバとのオンライン対話で学習を行う。
• 報酬 r(t) を、1 / ||log(hatZ DNS) - log(hatZ LES)|| に比例させて最適化し、スペクトルの一致を導く。
• DNSと従来の SGSモデルとを、運動エネルギースペクトルと渦度PDFで比較して評価。

実験結果

リサーチクエスチョン

• RQ1 SMARLは高忠実度データのサンプルを非常に少なくても地球物理乱流のSGS閉じこみを学習し、DNS統計を再現できるのか？
• RQ2 SMARL閉じこみは拡散とバックキャッスリングの両方を捉え、尺度間移動を正確に表現できるのか？
• RQ3 学習した閉じこみは高いレイノルズ数や異なる流れ regimes に対して頑健で一般化可能か？
• RQ4 SMARLベースの閉じこみは、ダイナミックLeithおよびSmagorinsky閉じこみと比較して極端イベント統計においてどう分布するのか？

主な発見

• RL-Leith閉じこみはDNSの渦度PDFのマッチングでDSmagおよびDLeithを上回り、極端イベントを表す尾部を含む。
• RL-Leithは尺度間エンストロフィー移動をより良く再現し、バックキャスティングの改善と過度な拡散の抑制を示す。
• 学習された c_l の分布はより広い範囲を占め、負値を含み、拡散とバックキャストの両方のモデリングを可能にしている。
• Sobol分解分析により、低波数域のエンストロフィーとカットオフ付近の k_c が閉じこみに最も影響を与えることが示され、物理的な転送領域と一致している。
• 低レイノルズ数で訓練したSMARL閉じこみは、15倍高いレイノルズ数のケースへも一般化し、ベースラインと比較してスペクトルとPDF尾部の改善を維持。