[论文解读] FuXi: A cascade machine learning forecasting system for 15-day global weather forecast

Lei Chen, Xiaohui Zhong+5 more|arXiv (Cornell University)|Jun 22, 2023

Climate variability and models被引用 18

一句话总结

FuXi 是一个级联的、预训练的机器学习气象预测系统，能够以 0.25° 分辨率提供 15 天全球预报，达到类似 ECMWF 集合预报的性能，并延长 Z500 和 T2M 的有技能预报领先时间。

ABSTRACT

Over the past few years, due to the rapid development of machine learning (ML) models for weather forecasting, state-of-the-art ML models have shown superior performance compared to the European Centre for Medium-Range Weather Forecasts (ECMWF)'s high-resolution forecast (HRES) in 10-day forecasts at a spatial resolution of 0.25 degree. However, the challenge remains to perform comparably to the ECMWF ensemble mean (EM) in 15-day forecasts. Previous studies have demonstrated the importance of mitigating the accumulation of forecast errors for effective long-term forecasts. Despite numerous efforts to reduce accumulation errors, including autoregressive multi-time step loss, using a single model is found to be insufficient to achieve optimal performance in both short and long lead times. Therefore, we present FuXi, a cascaded ML weather forecasting system that provides 15-day global forecasts with a temporal resolution of 6 hours and a spatial resolution of 0.25 degree. FuXi is developed using 39 years of the ECMWF ERA5 reanalysis dataset. The performance evaluation, based on latitude-weighted root mean square error (RMSE) and anomaly correlation coefficient (ACC), demonstrates that FuXi has comparable forecast performance to ECMWF EM in 15-day forecasts, making FuXi the first ML-based weather forecasting system to accomplish this achievement.

研究动机与目标

• 推动使用级联机器学习模型以降低长程天气预报中的累积误差。
• 开发 FuXi，一种使用 ERA5 数据、以 0.25° 分辨率产生 15 天预报的级联机器学习预测系统。
• 展示 FuXi 能够达到与 ECMWF 集合预测相匹配的性能，并延长关键变量的有技能领先时间。
• 展示 FuXi 集合预报提供的 不确定性估计 可与 ECMWF 集合相当。

提出的方法

• 使用 0.25° 分辨率和 6 小时时序的 ERA5 再分析数据训练 FuXi。
• 将 FuXi 构建为三个专业模型的级联：FuXi-Short (0–5 天)、FuXi-Medium (5–10 天)、FuXi-Long (10–15 天)。
• FuXi 的基础架构结合了立方嵌入、带有 48 个 Swin Transformer V2 块的 U-Transformer，以及一个最终的全连接层。
• 通过两阶段过程训练：一阶段预训练（预测单个 6 小时步）和带自回归课程的级联模型微调。
• 在训练过程中使用自回归多步损失来提高稳定性并减少累积误差。
• 通过用 Perlin 噪声扰动初始条件并应用蒙特卡洛 dropout，创建一个包含 50 个成员的 FuXi 集合。

Figure 1 : Overall architecture of FuXi model. a) The FuXi model consists of three components: cube embedding, U-Transformer, and fully connected (FC) layer; b) FuXi-Short, FuXi-Medium, and FuXi-Long models cascade and produce 15-day forecasts, with each model generating 5 days forecasts.

实验结果

研究问题

• RQ1 级联式机器学习架构是否能够降低长时程预报的累积误差并在 15 天预报中达到与 ECMWF 集合相匹配的性能？
• RQ2 相对于 ECMWF HRES，Z500 和 T2M 可达到的预报领先时间扩展是多少？
• RQ3 FuXi 集合是否在预测不确定性方面相对于 ECMWF 集合具有竞争力？
• RQ4 在多变量和不同领先时间下，FuXi 相对于确定性基准（HRES、EM）的表现如何？

主要发现

• FuXi 的级联架构在 0.25° 下提供的 15 天预报与 ECMWF 集合平均值（EM）相当。
• FuXi 将 Z500 的有技能相关系数 ACC（ACC > 0.6）的领先时间扩展到 10.5 天，T2M 为 14.5 天。
• FuXi 在 15 天预报中多变量上优于 ECMWF HRES，随着领先时间的增加，ACC 和 RMSE 的优势也在增强。
• FuXi 集合预报在若干场场在 9 天内达到与 ECMWF 集合相当的 CRPS 性能，表明不确定性估计有用。

Figure 2 : Comparison of the globally-averaged latitude-weighted ACC (first and second rows) and RMSE (third and fourth rows) of the HRES (dark green lines), GraphCast (organge lines), and FuXi (light blue lines) for 4 surface variables, such as ${MSL}$ , ${T2M}$ , ${U10}$ , and ${V10}$ , and 4 uppe