[論文レビュー] Towards an end-to-end artificial intelligence driven global weather forecasting system

Kun Chen, Lei Bai+10 more|arXiv (Cornell University)|Dec 18, 2023

Meteorological Phenomena and Simulations被引用数 9

ひとこと要約

本論文は Adas（AIベースのデータ同化モデル）を導入し、それを AI 天気予報モデル FengWu と統合して FengWu-Adas を形成する。これは、シミュレーションの seven-day window において IFS を上回る、エンドツーエンドのAI駆動のグローバル天気予報システムとして初の試みである。

ABSTRACT

The weather forecasting system is important for science and society, and significant achievements have been made in applying artificial intelligence (AI) to medium-range weather forecasting. However, existing AI-based weather forecasting models rely on analysis or reanalysis products from traditional numerical weather prediction (NWP) systems as initial conditions for making predictions. The initial states are typically generated by traditional data assimilation components, which are computationally expensive and time-consuming. Here, by cyclic training to model the steady-state background error covariance and introducing the confidence matrix to characterize the quality of observations, we present an AI-based data assimilation model, i.e., Adas, for global weather variables. Further, we combine Adas with the advanced AI-based forecasting model (i.e., FengWu) to construct an end-to-end AI-based global weather forecasting system: FengWu-Adas. We demonstrate that Adas can assimilate global conventional observations to produce high-quality analysis, enabling the system to operate stably for long term. Moreover, the system can generate accurate end-to-end weather forecasts with comparable skill to those of the IFS, demonstrating the promising potential of data-driven approaches.

研究の動機と目的

• 従来の NWP 依存を超えた、完全に AI ベースのエンドツーエンドのグローバル天気予報システムの開発を促す。
• Sparse observations を扱い高品質な解析を生成する AI ベースのデータ同化モジュール Adas を提案する。
• Adas を FengWu と結合して、長期的な安定性を持つ循環的な予報-同化フレームワークを構築できることを示す。
• ERA5ベースの基準と比較してシステムの性能を評価し、予測精度をIntegrated Forecasting System (IFS) と比較する。

提案手法

• 背景情報とまばらな観測から、信頼度マトリクスを用いて解析を作成するニューラルネットワークデータ同化モデル Adas を導入する。
• まばらな観測に対応するゲート付き畳み込みモジュールと、信頼度マトリクスに導かれて背景と観測の相互作用を捉えるゲート付きクロスアテンションモジュールを使用する。
• すべての入力を統一潜在空間へ埋め込み、階層的 UNet と Transformer ブロックで処理し、チャネルごとの自動ウェイト付けを行う教師付き MAE/L1 ロスを適用する。
• Adas が生成した解析を FengWu の初期状態として入力することで、エンドツーエンドの FengWu-Adas システムを形成し、循環的な予報-同化ループを作る。
• ERA5ベースのシミュレーション観測で Adas を訓練し、訓練中は FengWu を固定して安定性と同化品質を検証する。
• ERA5 に対する RMSE および Bias 指標で性能を評価し、年長期の循環実行と IFS に対する seven-day のマルチステップ予報を含める。

実験結果

リサーチクエスチョン

• RQ1 AIベースのデータ同化モデル（Adas）は、AI生成背景とまばらな観測からグローバル規模で高品質な解析を生成できるか。
• RQ2 Adas を AI 予測モデル（FengWu）と統合することで、長期サイクルにわたって安定で、短〜中期予報で従来の NWP ベースライン（IFS）より優れたエンドツーエンドシステムが得られるか。
• RQ3 まばらでノイズのある、ランダムに配置された観測が、エンドツーエンドのAI予測システムにおける同化品質と安定性にどのように影響するか。
• RQ4 ERA5とrandomのような異なる初期状態および観測マスクで初期化した場合のone-year cyclicシミュレーションにおける FengWu-Adas の性能はどうか。
• RQ5 ERA5-ground-truth benchmarks と比較して、AIベースの同化が中期予報における背景誤差とバイアスドリフトをどの程度低減できるか。

主な発見

• Adas は、AI生成背景とシミュレートされた全球観測を同化して、one-year cyclic run において安定した解析を生成できる。
• 解析は一貫して背景より低い RMSE を示し、ほぼゼロに近いバイアスを維持しており、バイアスドリフトの低減と安定性の改善を示している。
• FengWu-Adas は、複数の変数において seven-day 予報で IFS を一貫して上回り、初期リードタイムでいくつかの変数で顕著な約30% の利益を示す。
• システムは固定マスクとランダムマスクを含む異なる観測パターンに対してロバストであり、悪い初期化から数回の同化ステップで回復可能である。
• アブレーションテストは、まばらな観測でも性能を維持し、解析の増分が背景誤差パターンに一致し、観測されていない場所でもそれが分かることを示している。