[論文レビュー] Challenges of learning multi-scale dynamics with AI weather models: Implications for stability and one solution

Ashesh Chattopadhyay, Sun, Y. Qiang+1 more|arXiv (Cornell University)|Apr 14, 2023

Meteorological Phenomena and Simulations被引用数 14

ひとこと要約

この論文はスペクトルバイアスを乱流のデータ駆動デジタルツインの長期的不安定性の普遍的原因として特定し、FouRKSを導入して気候エミュレーションの長期かつ物理的に一貫した安定性を達成します。QGおよびERA5データで数百日から数万日間の安定な予測を示します。

ABSTRACT

Long-term stability and physical consistency are critical properties for AI-based weather models if they are going to be used for subseasonal-to-seasonal forecasts or beyond, e.g., climate change projection. However, current AI-based weather models can only provide short-term forecasts accurately since they become unstable or physically inconsistent when time-integrated beyond a few weeks or a few months. Either they exhibit numerical blow-up or hallucinate unrealistic dynamics of the atmospheric variables, akin to the current class of autoregressive large language models. The cause of the instabilities is unknown, and the methods that are used to improve their stability horizons are ad-hoc and lack rigorous theory. In this paper, we reveal that the universal causal mechanism for these instabilities in any turbulent flow is due to extit{spectral bias} wherein, extit{any} deep learning architecture is biased to learn only the large-scale dynamics and ignores the small scales completely. We further elucidate how turbulence physics and the absence of convergence in deep learning-based time-integrators amplify this bias, leading to unstable error propagation. Finally, using the quasi-geostrophic flow and European Center for Medium-Range Weather Forecasting (ECMWF) Reanalysis data as test cases, we bridge the gap between deep learning theory and numerical analysis to propose one mitigative solution to such unphysical behavior. We develop long-term physically-consistent data-driven models for the climate system and demonstrate accurate short-term forecasts, and hundreds of years of time-integration with accurate mean and variability.

研究の動機と目的

• 乱流のデータ駆動デジタルツインにおける不安定性の普遍的原因を特定する。
• 物理にインスパイアされた、アーキテクチャに依存しない長期安定性の緩和フレームワーク（FouRKS）を提案する。
• QGおよびERA5データセットで長期にわたる安定かつ物理的に一貫したエミュレーションを実証する。
• 長期予測における平均、確率密度関数（PDF）、および変動性の保存に関する FouRKS の評価を行う。

提案手法

• 深層学習ベースのデジタルツインにおける不安定性の源としてスペクトルバイアスを分析する。
• 高波数誤差を訓練中に抑制するためのフーリエベースのスペクトル正則化を開発する。
• モデル内の微分可能なレイヤとして収束する4次のRunge-Kutta時積分子を組み込む。
• 自己教師ありスペクトル補正戦略を自己回帰予測中に実装する。
• FouRKSをアーキテクチャに依存しないものとして、PDE残差を予測する任意のニューラル動的エミュレータと共に機能させる。

Figure 1: Long-term instabilities in a FourCastNet pathak2022fourcastnet and U-NET-based digital twin (section 4.3 ) trained on both $0.25^{\circ}$ and $2^{\circ}$ ERA5 data (section 4.1 ) and U-NET on QG simulations (section 4.2 ). (a) Z500 values from ERA5 on day 1 from year $2018$ . (b) correspon

実験結果

リサーチクエスチョン

• RQ1 乱流のデータ駆動デジタルツインにおける長期的不安定性の根本原因は何か？
• RQ2 原理に基づくフレームワークはスペクトルバイアスを緩和し、収束する長期予測をもたらすことができるか？
• RQ3 QGおよびERA5データに対する物理的に意味のある長期統計（平均、PDF、変動性）の観点でFouRKSはどのように性能を発揮するか？
• RQ4 FouRKSは何百日から千日規模の安定した予測をどの程度提供できるか？

主な発見

• スペクトルバイアスは乱流のデータ駆動デジタルツインの不安定性の普遍的原因として特定される。
• フーリエベースのスペクトル正則化、RK4積分器、自己監視スペクトル補正が相乗的に長期安定性を可能にする。
• 二層QG系でのU-NETを用いたFouRKSは20,000日間の安定した自己回帰エミュレーションを達成する。
• ERA5データを用いたFouRKSは最大5,200日まで安定かつ物理的に一貫した自己回帰予測を生み出す。
• このフレームワークは予測のフーリエスペクトルが全スケールで真のスペクトルと一致し、主要変数の平均とPDFを保存する。
• ベースラインモデルと比較して、FouRKSは長期安定性と予測の物理的現実性を著しく向上させる。

Figure 2: Schematics for each component of the FouRKS framework and the baseline U-NET. More details about each of the components can be found in section 4.3 and section 4.4 .