[論文レビュー] AI Foundation Models for Weather and Climate: Applications, Design, and Implementation

S. Karthik Mukkavilli, Daniel Civitarese+13 more|arXiv (Cornell University)|Sep 19, 2023

Meteorological Phenomena and Simulations被引用数 14

ひとこと要約

本論文は天気と気候のAIファウンデーションモデルの台頭を概観し、一般化可能な天気ファウンデーションモデルに向けた応用、設計選択、実装上の考慮事項を概説する。

ABSTRACT

Machine learning and deep learning methods have been widely explored in understanding the chaotic behavior of the atmosphere and furthering weather forecasting. There has been increasing interest from technology companies, government institutions, and meteorological agencies in building digital twins of the Earth. Recent approaches using transformers, physics-informed machine learning, and graph neural networks have demonstrated state-of-the-art performance on relatively narrow spatiotemporal scales and specific tasks. With the recent success of generative artificial intelligence (AI) using pre-trained transformers for language modeling and vision with prompt engineering and fine-tuning, we are now moving towards generalizable AI. In particular, we are witnessing the rise of AI foundation models that can perform competitively on multiple domain-specific downstream tasks. Despite this progress, we are still in the nascent stages of a generalizable AI model for global Earth system models, regional climate models, and mesoscale weather models. Here, we review current state-of-the-art AI approaches, primarily from transformer and operator learning literature in the context of meteorology. We provide our perspective on criteria for success towards a family of foundation models for nowcasting and forecasting weather and climate predictions. We also discuss how such models can perform competitively on downstream tasks such as downscaling (super-resolution), identifying conditions conducive to the occurrence of wildfires, and predicting consequential meteorological phenomena across various spatiotemporal scales such as hurricanes and atmospheric rivers. In particular, we examine current AI methodologies and contend they have matured enough to design and implement a weather foundation model.

研究の動機と目的

• 全球的および地域的な天気と気候の問題に対するファウンデーションモデルの開発を促進する。
• 気象学における最先端AIアプローチ（トランスフォーマー、グラフネットワーク、物理情報を取り入れた機械学習）を要約する。
• 天気ファウンデーションモデルの設計基準、データ要件、評価の考慮事項について論じる。
• ファウンデーションモデルが優れて活躍できる下流タスクを特定する（nowcasting、downscaling、parameterization、data assimilation）。
• 天気ファウンデーションモデルファミリーのロードマップと成功基準を概説する。

提案手法

• 気象学における最先端AI手法のレビュー（トランスフォーマー、グラフニューラルネットワーク、オペレータ学習）。
• エンコーダ–デコーダ型ファウンデーションモデル構造と下流タスクのファインチューニングパラダイムを概念化する。
• 気象・気候文脈における自己教師あり学習のための事前学習データ要件と損失関数の考慮事項を論じる。
• バックボーン（トランスフォーマー対グラフベース）および多段スケールなデータ表現における設計上のトレードオフを分析する。
• 気象学的現実性と下流の有用性に合わせた評価・診断基準を提案する。

実験結果

リサーチクエスチョン

• RQ1 ファウンデーションモデルは天気/気候の変数と時間スケール全体で精度と効率を向上させる可能性がある。
• RQ2 大規模で多様なデータセットでの事前学習は、下流タスクへの微調整時のラベル付きデータの必要性を減らす。
• RQ3 軽量なタスク固有デコーダーを用いたファインチューニングは、柔軟で多タスク展開を可能にする。
• RQ4 現行のAIエミュレーターおよびモデルは、いくつかのNWPシステムと同等の性能を達成する一方で、粒度、リードタイム、一般化の制約に直面している。
• RQ5 ダウンスケーリング、ハザード検知、および気候アプリケーションは、より良い一般化とデータ効率性を通じてFMアプローチから恩恵を受け得る。
• RQ6 著名な例（例： FourCastNet、PanguWeather、GraphCast） は、スケーラブルで高解像度のモデリングへ向けた急速な進歩を示している。

主な発見

• ファウンデーションモデルは、天気/気候の変数と時間スケール全体で精度と効率を向上させる可能性がある。
• 大規模で多様なデータセットによる事前学習は、下流タスクへの微調整時のラベル付きデータの必要性を減らす。
• 軽量なタスク固有デコーダーを用いたファインチューニングは、柔軟でマルチタスク展開を可能にする。
• 現行のAIエミュレーターおよびモデルは、いくつかのNWPシステムと同等の性能を達成しているが、粒度、リードタイム、一般化の制約に直面している。
• ダウンスケーリング、ハザード検知、気候アプリケーションは、より良い一般化とデータ効率性を通じてFMアプローチの利益を得る可能性がある。
• 著名な例（例： FourCastNet、PanguWeather、GraphCast） は、スケーラブルで高解像度のモデリングへ向けた急速な進歩を示している。