[論文レビュー] AtmoRep: A stochastic model of atmosphere dynamics using large scale representation learning

Christian Lessig, I. Luise+4 more|arXiv (Cornell University)|Aug 25, 2023

Meteorological Phenomena and Simulations被引用数 20

ひとこと要約

AtmoRepは、大規模表現学習を用いたタスク非依存の確率的大気動態モデルで、現在予測、補間、モデル修正、逆実験などのすべてに対して確率的予測とゼロショット能力を提供します。

ABSTRACT

The atmosphere affects humans in a multitude of ways, from loss of life due to adverse weather effects to long-term social and economic impacts on societies. Computer simulations of atmospheric dynamics are, therefore, of great importance for the well-being of our and future generations. Here, we propose AtmoRep, a novel, task-independent stochastic computer model of atmospheric dynamics that can provide skillful results for a wide range of applications. AtmoRep uses large-scale representation learning from artificial intelligence to determine a general description of the highly complex, stochastic dynamics of the atmosphere from the best available estimate of the system's historical trajectory as constrained by observations. This is enabled by a novel self-supervised learning objective and a unique ensemble that samples from the stochastic model with a variability informed by the one in the historical record. The task-independent nature of AtmoRep enables skillful results for a diverse set of applications without specifically training for them and we demonstrate this for nowcasting, temporal interpolation, model correction, and counterfactuals. We also show that AtmoRep can be improved with additional data, for example radar observations, and that it can be extended to tasks such as downscaling. Our work establishes that large-scale neural networks can provide skillful, task-independent models of atmospheric dynamics. With this, they provide a novel means to make the large record of atmospheric observations accessible for applications and for scientific inquiry, complementing existing simulations based on first principles.

研究の動機と目的

• 正確で多様な大気モデルの必要性を動機づけ、計算効率が高く確率的であることを示す。
• 歴史的観測データから学習して複雑な大気ダイナミクスを捉える、タスクに依存しない確率的モデルを提案する。
• 複数のタスクに対する intrinsic なゼロショット能力を示し、追加データでモデルを拡張またはバイアス補正できることを示す。

提案手法

• AtmoRepを大気状態を予測するp_theta(y|x, alpha)を持つ3.5十億パラメータのトランスフォーマーモデルとして導入する。
• 自己教師付き目的でデータ分布への距離をモンテカルロ推定で最小化するようにp_theta(y|x, alpha)を訓練する。
• 学習済み分布からサンプルを得るために予測ヘッドのアンサンブルを使用し、確率的予測を可能にする。
• 4次元の時空間近傍をトークンに分割し、自己教師付き学習のためのマスキング/歪曲を用いる。
• クロスアテンションで結合された分野ごとのトランスフォーマーを含むMultiformerアーキテクチャと効率的なアンサンブル訓練戦略を採用する。
• ダウンスケーリングなどのタスク特定のテールや、観測データを用いたバイアス補正による拡張性。

Figure 1: The AtmoRep model provides a numerical representation $p_{\theta}(y|x,\alpha)$ of the conditional probability $p(y|x,\alpha)$ for atmospheric states $x$ , $y$ subject to external conditions $\alpha$ , e.g. the time of $x$ , $y$ or their location on the globe. It is implemented as a transfo

実験結果

リサーチクエスチョン

• RQ1 大規模でタスク非依存のニューラルモデルは、過去の観測履歴から大気の確率的ダイナミクスを捉えられるか。
• RQ2 タスク特定の訓練なしで、現在予測、時系列補間、モデル修正、逆実験におけるAtmoRepの intrinsic な能力は何か。
• RQ3 短期予測と確率的スキルにおいて、AtmoRepは確立された予測システムと比較してどうなるか。
• RQ4 外部の観測データセットを用いて、ダウンスケーリングやバイアス補正といった追加タスクへ拡張できるか。

主な発見

• AtmoRepは、タスク特定の訓練がほとんどまたは全く不要で、最先端または競争力のある現在予測能力を達成する。
• モデルは観測のばらつきを反映した分散を持つアンサンブルを通じて確率的予測を提供する。
• AtmoRepは線形補間よりもはるかに低いRMSEで時間的補間を実現する。
• 入力の高頻度成分を学習済み表現を介してERA5へと補正できる。
• 逆実験はAtmoRepが学習済み分布の下で代替の外部条件を反映するサンプルを生成できることを示す。
• AtmoRepによるダウンスケーリングはGANベースラインよりRMSEで上回り、高解像度リファレンスへ分布を調整できる。

Figure 2: AtmoRep can be used for a diverse set of applications without task-specific training (shaded areas depict one standard deviation). Nowcasting: Short-term forecasting can be realized by masking tokens at the future-most time step(s) (bottom right inset). Skill is compared to Pangu-Weather a