[論文レビュー] FuXi: A cascade machine learning forecasting system for 15-day global weather forecast

Lei Chen, Xiaohui Zhong+5 more|arXiv (Cornell University)|Jun 22, 2023

Climate variability and models被引用数 18

ひとこと要約

FuXi は cascaded、事前学習済みの機械学習気象予測システムで、0.25° 解像度の 15 日間の全球予報を提供し、ECMWF アンサンブルに似た性能を達成し、Z500 および T2M の有用なリードタイムを拡張します。

ABSTRACT

Over the past few years, due to the rapid development of machine learning (ML) models for weather forecasting, state-of-the-art ML models have shown superior performance compared to the European Centre for Medium-Range Weather Forecasts (ECMWF)'s high-resolution forecast (HRES) in 10-day forecasts at a spatial resolution of 0.25 degree. However, the challenge remains to perform comparably to the ECMWF ensemble mean (EM) in 15-day forecasts. Previous studies have demonstrated the importance of mitigating the accumulation of forecast errors for effective long-term forecasts. Despite numerous efforts to reduce accumulation errors, including autoregressive multi-time step loss, using a single model is found to be insufficient to achieve optimal performance in both short and long lead times. Therefore, we present FuXi, a cascaded ML weather forecasting system that provides 15-day global forecasts with a temporal resolution of 6 hours and a spatial resolution of 0.25 degree. FuXi is developed using 39 years of the ECMWF ERA5 reanalysis dataset. The performance evaluation, based on latitude-weighted root mean square error (RMSE) and anomaly correlation coefficient (ACC), demonstrates that FuXi has comparable forecast performance to ECMWF EM in 15-day forecasts, making FuXi the first ML-based weather forecasting system to accomplish this achievement.

研究の動機と目的

• 長距離天気予報における累積誤差を低減するためのカスケード型機械学習モデルの利用を動機づける。
• ERA5 データを用いて 0.25° 解像度で 15 日間予報を生成するカスケドルML予報システム FuXi を開発する。
• FuXi が ECMWF アンサンブルの性能に匹敵し、主要変数の有用なリードタイムを拡張できることを示す。
• FuXi アンサンブル予報が ECMWF アンサンブルと同程度の不確実性推定を提供することを示す。

提案手法

• FuXi を訓練するために 0.25°、6 時間ごとの頻度で 39 年分の ERA5 再分析データを使用する。
• FuXi を三つの専門モデルのカスケードとして構築する：FuXi-Short (0–5 日), FuXi-Medium (5–10 日), FuXi-Long (10–15 日)。
• FuXi のアーキテクチャはキューブ埋め込み、48 Swin Transformer V2 ブロックを用いた U-Transformer、および最終 FC 層を組み合わせている。
• 二段階プロセスで訓練する：1ステップの事前訓練（単一の6時間ステップを予測）と、自己回帰カリキュラムを用いたカスケードモデルのファインチューニング。
• 訓練中の自己回帰多ステップ損失を用いて安定性を向上させ、累積誤差を減らす。
• Perlinノイズで初期条件を撹乱しモンテカルロドロップアウトを適用して、50-member FuXi アンサンブルを作成する。

Figure 1 : Overall architecture of FuXi model. a) The FuXi model consists of three components: cube embedding, U-Transformer, and fully connected (FC) layer; b) FuXi-Short, FuXi-Medium, and FuXi-Long models cascade and produce 15-day forecasts, with each model generating 5 days forecasts.

実験結果

リサーチクエスチョン

• RQ1 長距離予報の累積誤差を抑え、15 日間予報で ECMWF アンサンブルの性能に匹敵できるカスケード型 ML アーキテクチャは実現可能か。
• RQ2 ECMWF HRES と比較して Z500 および T2M の予測リードタイム拡大はどの程度可能か。
• RQ3 FuXi アンサンブルは ECMWF アンサンブルと比較して競争力のある予報不確実性を提供するか。
• RQ4 FuXi は複数の変数とリードタイムにわたって決定論的ベンチマーク（HRES、EM）に対してどのように性能を示すか。

主な発見

• FuXi のカスケード型アーキテクチャは 0.25° の 15 日間予報を ECMWF アンセモル平均（EM）と同程度に提供する。
• FuXi は Z500 の有用な ACC（ACC > 0.6）リードタイムを 10.5 日へ、T2M を 14.5 日へ拡張する。
• FuXi は 15 日間予報で複数の変数において ECMWF HRES を上回り、リードタイムが進むほど ACC と RMSE の優位性が拡大する。
• FuXi アンサンブル予報は 複数の場の 9 日以内で ECMWF アンサンブルと同程度の CRPS 性能を達成し、実用的な不確実性推定を示す。

Figure 2 : Comparison of the globally-averaged latitude-weighted ACC (first and second rows) and RMSE (third and fourth rows) of the HRES (dark green lines), GraphCast (organge lines), and FuXi (light blue lines) for 4 surface variables, such as ${MSL}$ , ${T2M}$ , ${U10}$ , and ${V10}$ , and 4 uppe