[論文レビュー] Foundation Models for Weather and Climate Data Understanding: A Comprehensive Survey

Shengchao Chen, Guodong Long+3 more|arXiv (Cornell University)|Dec 5, 2023

Meteorological Phenomena and Simulations被引用数 10

ひとこと要約

この論文は、時間系列、時空データ、およびテキストデータに焦点を当てた気象・気候データの最先端の基盤モデルとタスク特化モデルを概説し、データセット、アーキテクチャ、アプリケーション、課題、今後の方向性について論じます。

ABSTRACT

As artificial intelligence (AI) continues to rapidly evolve, the realm of Earth and atmospheric sciences is increasingly adopting data-driven models, powered by progressive developments in deep learning (DL). Specifically, DL techniques are extensively utilized to decode the chaotic and nonlinear aspects of Earth systems, and to address climate challenges via understanding weather and climate data. Cutting-edge performance on specific tasks within narrower spatio-temporal scales has been achieved recently through DL. The rise of large models, specifically large language models (LLMs), has enabled fine-tuning processes that yield remarkable outcomes across various downstream tasks, thereby propelling the advancement of general AI. However, we are still navigating the initial stages of crafting general AI for weather and climate. In this survey, we offer an exhaustive, timely overview of state-of-the-art AI methodologies specifically engineered for weather and climate data, with a special focus on time series and text data. Our primary coverage encompasses four critical aspects: types of weather and climate data, principal model architectures, model scopes and applications, and datasets for weather and climate. Furthermore, in relation to the creation and application of foundation models for weather and climate data understanding, we delve into the field's prevailing challenges, offer crucial insights, and propose detailed avenues for future research. This comprehensive approach equips practitioners with the requisite knowledge to make substantial progress in this domain. Our survey encapsulates the most recent breakthroughs in research on large, data-driven models for weather and climate data understanding, emphasizing robust foundations, current advancements, practical applications, crucial resources, and prospective research opportunities.

研究の動機と目的

• 気象・気候データのための大規模基盤モデルとタスク特化モデルの最新の概要を提供する。
• モデルをアーキテクチャとデータモダリティ（時間系列、時空間、テキスト）で分類する。
• 気象・気候AI研究のためのデータセット、ツール、およびリソースを要約する。
• 気候基盤モデルの課題、機会、および設計上の考慮事項を強調する。

提案手法

• 気象・気候データに適用された基盤モデルとタスク特化モデルの系統的文献レビュー。
• アーキテクチャ（RNNs、Transformers、GANs、Diffusion、GNNs）およびデータモダリティ（時間系列、時空間、テキスト）別にモデルを分類する。
• 気象・気候科学におけるデータタイプ、タスク、および代表的な適用例の議論。
• 分野に関連するデータセット、リソース、およびオープンソースツールの整理。
• 気候基盤モデルの設計原則と今後の研究方向の明示。

実験結果

リサーチクエスチョン

• RQ1 現在、気象・気候データ理解に用いられている基盤モデルとタスク特化モデルは何か。
• RQ2 これらのモデルはデータモダリティとアーキテクチャ的な系統にどのように分布しているか。
• RQ3 気象・気候AIの研究を支援するために利用可能なデータセットとツールは何か。
• RQ4 気象・気候基盤モデルの開発を定義する課題と機会は何か。

主な発見

• 本調査は、時間系列、時空データ、テキストに跨る気象・気候データの大規模モデルとタスク特化モデルの包括的で最新の概要を提供する。
• 気候基盤モデルとタスク特化モデルの構造的分類を提供し、RNNs、Transformers、GANs、Diffusionモデル、GNNsなどのアーキテクチャで詳述する。
• 研究者を支援するためのデータセット、オープンソース実装、およびリソースの豊富な整理が提示される。
• 本論文はデータ表現、多モーダルモデリング、解釈性、一般化、プライバシー、継続学習における課題を特定し、将来の研究方向を概説する。
• 気象・気候基盤モデルを構築するための設計上の洞察を提供し、データ選択、表現、学習戦略、評価スキームを含む。