[논문 리뷰] Prediction of Extreme Events in Multiscale Simulations of Geophysical Turbulence using Reinforcement Learning

Yifei Guan, Lucas Amoudruz외 5명|arXiv (Cornell University)|2026. 02. 26.

Meteorological Phenomena and Simulations인용 수 0

한 줄 요약

논문은 enstrophy 스펙트럼을 보상으로 활용하여 지구물리학 난류의 서브그리드 규모( SGS ) 폐쇄를 학습하기 위한 SMARL 기반 프레임워크를 개발하고, extreme-event 통계를 재현하는 안정적인 LES를 가능하게 하며 훈련 샘플 수를 수십 배 더 적은 양으로 달성한다.

ABSTRACT

Accurate subgrid-scale closures are essential for weather/climate models, where predicting extreme events is critical. Traditional closures have structural errors, e.g., producing excessive diffusion that dampens extremes. Artificial intelligence has gained attention for closure modeling, but the prediction of extreme events remains challenging. Supervised offline learning needs abundant high-fidelity training data and can lead to instabilities. Online learning algorithms are emerging as an alternative, but reliance on differentiable numerical solvers or scalable optimizers hinders broad use. Here, we introduce SMARL to develop closures for canonical prototypes of atmospheric/oceanic turbulence, using only the enstrophy spectrum, estimated from a few high-fidelity samples, as reward. This reward ensures that the model captures the cascades of scales in these simulations. These online-learned closures enable stable simulations, with up to five orders of magnitude fewer degrees of freedom, that reproduce high-fidelity simulation statistics and capture in particular extremes. We interpret the closures by analyzing the SMARL policy and demonstrate generalization to other flows. The results highlight SMARL as a potent tool for developing closures capable of capturing extremes in atmospheric/oceanic flows, opening new capabilities for effective climate modeling.

연구 동기 및 목표

• 날씨/기후 모델에서 정확한 극한 사건 예측을 경제적인 계산 비용으로 달성하는 것을 동기화한다.
• 고충실도 데이터에 대한 의존도를 줄이는 온라인의 데이터 효율적인 LES 폐쇄를 개발한다.
• SMARL 프레임워크를 제시하여 지구물리학 난류에 대한 Leith 유형 폐쇄를 학습한다.
• 다양한 사례와 Reynolds 수에서 학습된 폐쇄를 사용한 LES의 안정성과 정확성을 demonstrate 한다.

제안 방법

• SMARL을 사용하여 LES 컷오프까지 enstrophy 스펙트럼의 함수로서 동적 Leith 폐쇄 계수 c_l을 학습한다, c_l = f_DNN(hatZ(k,t)).
• LES 그리드에 분포된 n_Ax × n_Ay 에이전트가 공유 정책을 통해 c_l을 출력한다.
• 상태를 k_c까지의 enstrophy 스펙트럼 hatZ_LES로 정의하고, 행동을 로컬 c_l로 정의하여 그리드로 보간한다.
• differentiable solver가 필요 없는 저해상도 LES 해결기와의 온라인 상호작용으로 학습한다.
• 보상 r(t)를 1 / ||log(hatZ DNS) - log(hatZ LES)||에 비례하도록 최적화하여 스펙트럼 매칭을 유도한다.
• DNS와 전통적 SGS 모델과의 비교를 통해 운동에너지 스펙트럼 및 vorticity PDF를 비교 평가한다.

실험 결과

연구 질문

• RQ1 SMARL이 매우 적은 고충실도 샘플을 사용하여 DNS 통계를 재현하는 SGS 폐쇄를 학습할 수 있는가?
• RQ2 SMARL 폐쇄가 확산과 역전향(백스캐터)을 포착하여 스케일 간 전달을 정확하게 표현하는가?
• RQ3 학습된 폐쇄가 높은 Reynolds 수 및 다른 흐름 모드에 대해 강건하고 일반화될 수 있는가?
• RQ4 SMARL 기반 폐쇄와 동적 Leith 및 Smagorinsky 폐쇄가 극한 사건 통계에서 어떻게 비교되는가?

주요 결과

• RL-Leith 폐쇄는 DNS vorticity PDF와의 일치를 더 잘 수행하며, 극한 사건을 나타내는 꼬리 부분까지 포함한다.
• RL-Leith는 스케일 간 enstrophy 전달을 더 잘 재현하여 역방향 산란(backscattering)을 개선하고 과도한 확산을 감소시킨다.
• 학습된 c_l 분포가 더 넓은 범위를 차지하고 음수 값을 포함하여 확산과 역전향 모델링이 가능하다.
• Sobol 분석은 저 파수에서의 enstrophy와 컷오프 근처 k_c의 영향이 폐쇄에 가장 크게 작용함을 보여 물리적 전달 영역과 일치한다.
• 낮은 Reynolds 수에서 학습된 SMARL 폐쇄가 Reynolds 수가 15배 높은 사례로 일반화되며 기저선 대비 스펙트럼 및 PDF 꼬리의 개선을 유지한다.