[論文レビュー] Simulating Atmospheric Processes in Earth System Models and Quantifying Uncertainties with Deep Learning Multi-Member and Stochastic Parameterizations

Gunnar Behrens, Tom Beucler+6 more|arXiv (Cornell University)|Feb 5, 2024

Atmospheric and Environmental Gas Dynamics被引用数 4

ひとこと要約

本論文は、地球システムモデル（ESMs）におけるサブグリッド大気プロセスの改善を目的として、キャリブレートされた不確実性評価を伴うディープラーニングアンサンブルと確率的パラメータ化を提案する。マルチメンバーニューラルネットワークと変分オートエンコーダーを用いて、対流、乱流、放射フラックスをシミュレートする。この手法により、安定した長期間のオンラインシミュレーション（5か月以上）が可能となり、決定論的モデルと比較して極端な降水量および日周期の再現性が顕著に向上する。

ABSTRACT

Deep learning is a powerful tool to represent subgrid processes in climate models, but many application cases have so far used idealized settings and deterministic approaches. Here, we develop stochastic parameterizations with calibrated uncertainty quantification to learn subgrid convective and turbulent processes and surface radiative fluxes of a superparameterization (SP) embedded in an Earth System Model (ESM). We explore three methods to construct stochastic parameterizations: 1) a single Deep Neural Network (DNN) with Monte Carlo Dropout; 2) a multi-member parameterization; and 3) a Variational Encoder Decoder with latent space perturbation. We show that the multi-member (MM) parameterization improves the representation of convective processes, especially in the planetary boundary layer, compared to individual DNNs. The respective uncertainty quantification illustrates that methods 2) and 3) are advantageous compared to a dropout-based DNN parameterization regarding the spread of convective processes. Hybrid simulations with our best-performing MM parameterizations remained challenging and crash within the first days. Therefore, we develop a pragmatic partial coupling strategy relying on the SP for condensate emulation. Partial coupling reduces the computational efficiency of hybrid Earth-like simulations but enables model stability over 5 months with our MM parameterizations. However, our hybrid simulations exhibit biases in thermodynamic fields and differences in precipitation patterns. Despite this, the MM parameterizations enable improvements in reproducing tropical extreme precipitation compared to a traditional convection parameterization. Despite these challenges, our results indicate the potential of a new generation of MM machine learning parameterizations leveraging uncertainty quantification to improve the representation of stochasticity of subgrid effects.

研究の動機と目的

• 地球システムモデル（ESMs）に根ざした恒常的バイアス、特に不十分なサブグリッドスケール対流パラメータ化に起因する二重ITCZバイアスを是正すること。
• 決定論的ディープニューラルネットワーク（DNNs）を越えて、サブグリッド変動と不確実性を捉える機械学習ベースのパラメータ化を開発すること。
• 凝結物の傾向再現の課題を回避することで、ディープラーニングパラメータ化を完全なESM（表面および放射フラックスを含む）と安定した長期間のオンライン結合を可能とすること。
• 確率的ディープラーニングアプローチを用いてサブグリッドプロセスの不確実性を評価し、気候シミュレーションの信頼性と現実性を向上させること。
• アンサンブルベースの機械学習パラメータ化が、極端な降水量および日周期の再現において、決定論的モデルを上回ることを実証すること。

提案手法

• 3つの確率的パラメータ化手法を開発：(1) モンテカルロドロップアウトを用いた単一DNN、(2) マルチネットワークアンサンブル、(3) ラテン空間の摂動を伴う変分オートエンコーダー・デコーダー（VAE）。
• マルチネットワークアンサンブルは、同じ入力から複数の独立したDNNが予測を生成することで、サブグリッド変動の表現を強化する。
• 凝結物の傾向再現の分離を図る新しい部分的結合戦略を導入し、5か月を超える安定したESMとのオンライン統合を実現した。
• 不確実性評価はアンサンブルスプレッドと確率的出力により達成され、VAEベースの手法はドロップアウトベースDNNアンサンブルと比較して優れたスプレッド特性を示した。
• オフライン評価ではホールアウトデータセットを用いてサブグリッド傾向予測を比較し、オンライン評価では統合シミュレーションにおける降水量極値および日周期を評価した。
• すべてのモデルは、アควアプランネット設定下でのスーパーパラメータライズド・コミュニティアトモスフィアモデル（SPCAM）のデータを用いて学習し、その後SPECSM2 ESMに埋め込まれてオンラインテストが実施された。

Figure 1: We compare three stochastic parameterization strategies for reproducing the superparameterization (SP), which simulates SP subgrid variables ( $\boldsymbol{Y}$ ) based on large-scale Community Atmosphere Model (CAM) variables ( $\boldsymbol{X}$ ): 1) Applying Monte-Carlo dropout to a singl

実験結果

リサーチクエスチョン

• RQ1 ディープラーニングアンサンブルパラメータ化は、決定論的DNNと比較して、境界層内のサブグリッド対流および乱流プロセスの再現性を向上させることができるか？
• RQ2 モンテカルロドロップアウト、マルチネットワークアンサンブル、VAEベースの摂動といった異なる確率的パラメータ化手法は、不確実性スプレッドと予測精度の観点でどのように比較されるか？
• RQ3 表面および放射フラックスを含む完全なESMに完全に結合された機械学習パラメータ化において、安定した長期間のオンラインシミュレーション（5か月以上）を達成できるか？
• RQ4 アンサンブルベースのパラメータ化は、従来の手法と比較して、極端な降水量および降水量の日周期の再現性をどの程度向上させるか？
• RQ5 アンサンブル手法からの不確実性評価は、現実的で統合された地球システムシミュレーションにおけるサブグリッドプロセス変動と意味的に関連付けることができるか？

主な発見

• マルチネットワークアンサンブルパラメータ化は、オフラインおよびオンライン両方の状況で、個々のDNNと比較して境界層内の対流プロセスの再現性を顕著に向上させる。
• アンサンブル手法を用いたオンラインシミュレーションは5か月以上にわたり安定しているが、個々のDNNを用いたシミュレーションは、凝結物の傾向再現の不安定性により数日でクラッシュする。
• VAEベースの確率的パラメータ化は、ドロップアウトベースDNNアンサンブルと比較して、対流プロセス予測のより現実的なスプレッドを生み出し、より優れた不確実性評価を示している。
• アンサンブルパラメータ化は、極端な降水量および降水量の日周期の再現性を向上させ、従来のパラメータ化よりも参考となるスーパーパラメータライズドモデルに近づけた。
• 改善は見られたが、平均降水量パターンの忠実な再現は依然として困難であり、大規模な気象循環のシミュレーションにおける限界が継続していることを示している。
• 提案された部分的結合戦略は、凝結物の傾向再現の問題を効果的に回避し、包括的なESMと機械学習パラメータ化の安定したオンライン統合を実現した。

Figure 2: Vertical profiles of median coefficient of determination R 2 for specific humidity tendency (a), $\boldsymbol{\dot{q}}$ ), temperature tendency (b) $\boldsymbol{\dot{T}}$ ) of DNN-dropout (solid navy blue); $\mathrm{\overline{DNN}}$ and DNN-ensemble (solid and dashed black), $\mathrm{\over