[論文レビュー] FengWu: Pushing the Skillful Global Medium-range Weather Forecast beyond 10 Days Lead

Kang Chen, Tao Han+12 more|arXiv (Cornell University)|Apr 6, 2023

Meteorological Phenomena and Simulations被引用数 136

ひとこと要約

FengWuは、Cross-modal Transformer、不確実性損失、リプレイバッファを活用した多モーダル・マルチタスク深層学習を取り入れたデータ駆動型のグローバル中期天気予報システムで、技能予測を10日超へ拡張します。ACC(z500) > 0.6でリードタイムを10.75日達成し、目標の80%でGraphCastを上回りつつ推論コストを低く維持します。

ABSTRACT

We present FengWu, an advanced data-driven global medium-range weather forecast system based on Artificial Intelligence (AI). Different from existing data-driven weather forecast methods, FengWu solves the medium-range forecast problem from a multi-modal and multi-task perspective. Specifically, a deep learning architecture equipped with model-specific encoder-decoders and cross-modal fusion Transformer is elaborately designed, which is learned under the supervision of an uncertainty loss to balance the optimization of different predictors in a region-adaptive manner. Besides this, a replay buffer mechanism is introduced to improve medium-range forecast performance. With 39-year data training based on the ERA5 reanalysis, FengWu is able to accurately reproduce the atmospheric dynamics and predict the future land and atmosphere states at 37 vertical levels on a 0.25° latitude-longitude resolution. Hindcasts of 6-hourly weather in 2018 based on ERA5 demonstrate that FengWu performs better than GraphCast in predicting 80\% of the 880 reported predictands, e.g., reducing the root mean square error (RMSE) of 10-day lead global z500 prediction from 733 to 651 $m^{2}/s^2$. In addition, the inference cost of each iteration is merely 600ms on NVIDIA Tesla A100 hardware. The results suggest that FengWu can significantly improve the forecast skill and extend the skillful global medium-range weather forecast out to 10.75 days lead (with ACC of z500 > 0.6) for the first time.

研究の動機と目的

• 天気予報を変数を別のモダリティとして分離することで、多モーダル・マルチタスク学習問題として扱う。
• モーダルカスタマイズされたエンコーダ-デコーダーアーキテクチャを開発し、モダリティ間の情報を統合するクロスモーダルTransformerを導入する。
• 不確実性損失を用いて変数・高度・場所間のマルチタスク予測を自動的にバランスさせる。
• リプレイバッファを導入して長期予測の精度と学習効率を向上させる。

提案手法

• 気象データを大気変数と圧力レベルに対応する複数のモダリティとして表現する。
• モーダルカスタマイズされたエンコーダを用いて各モダリティの特徴を抽出し、クロスモーダルTransformerで統合する。
• モーダルカスタマイズされたデコーダを適用して各モダリティの未来状態を予測する。
• ホモスケラスティック不確実性を用いた不確実性損失を採用し、異なるタスクの重みを自動的に調整する。
• 過去の予測を保存して自己回帰推論を模倣し、長期予測を改善するリプレイバッファを実装する。

実験結果

リサーチクエスチョン

• RQ1 全球の中期天気予報を多モーダル・マルチタスク問題として扱うことは、予測スキルとリードタイムを改善するか。
• RQ2 モーダリティ固有のエンコーダ/デコーダを持つクロスモーダルTransformerは、単一モーダリティのベースラインやGraphCastのような以前のAIモデルを上回るか。
• RQ3 不確実性ベースの損失加重は、変数および圧力レベル間の予測を自動的にバランスできるか。
• RQ4 リプレイバッファは長期予測の精度と学習効率を効果的に向上させるか。

主な発見

• FengWuはz500の技能予測リードを10.75日（ACC>0.6）およびt2mで11.5日まで拡張した。
• FengWuは880の報告予測可能性のうち80%でGraphCastより高い精度を達成した。
• FengWuはNVIDIA Tesla A100ハードウェアで1回の反復あたり600 msの低推論コストを維持する。
• IFSと比較して、単一メンバーの10日予測はエネルギー消費が約2000倍低い。
• リプレイバッファは長期リードでの性能向上を持続させるのに不可欠である。
• 訓練には0.25°解像度、39年分のERA5データ、37の垂直レベル、189の予測可能性を使用した。