[论文解读] FengWu: Pushing the Skillful Global Medium-range Weather Forecast beyond 10 Days Lead

Kang Chen, Tao Han+12 more|arXiv (Cornell University)|Apr 6, 2023

Meteorological Phenomena and Simulations被引用 136

一句话总结

FengWu 是一个数据驱动的全球中期天气预报系统，利用多模态、多任务深度学习，结合跨模态 Transformer、不确定性损失和重放缓冲区，将熟练预报扩展到10天以上。它实现10.75天的先导期，ACC(z500) > 0.6，并在80%的目标上优于 GraphCast，同时保持较低的推理成本。

ABSTRACT

We present FengWu, an advanced data-driven global medium-range weather forecast system based on Artificial Intelligence (AI). Different from existing data-driven weather forecast methods, FengWu solves the medium-range forecast problem from a multi-modal and multi-task perspective. Specifically, a deep learning architecture equipped with model-specific encoder-decoders and cross-modal fusion Transformer is elaborately designed, which is learned under the supervision of an uncertainty loss to balance the optimization of different predictors in a region-adaptive manner. Besides this, a replay buffer mechanism is introduced to improve medium-range forecast performance. With 39-year data training based on the ERA5 reanalysis, FengWu is able to accurately reproduce the atmospheric dynamics and predict the future land and atmosphere states at 37 vertical levels on a 0.25° latitude-longitude resolution. Hindcasts of 6-hourly weather in 2018 based on ERA5 demonstrate that FengWu performs better than GraphCast in predicting 80\% of the 880 reported predictands, e.g., reducing the root mean square error (RMSE) of 10-day lead global z500 prediction from 733 to 651 $m^{2}/s^2$. In addition, the inference cost of each iteration is merely 600ms on NVIDIA Tesla A100 hardware. The results suggest that FengWu can significantly improve the forecast skill and extend the skillful global medium-range weather forecast out to 10.75 days lead (with ACC of z500 > 0.6) for the first time.

研究动机与目标

• 将天气预报视为一个多模态、多任务学习问题，通过将变量分离为不同模态来实现。
• 开发一个带有跨模态 Transformer 的模态定制编码器-解码器架构，以在模态之间融合集信息。
• 使用不确定性损失自动平衡不同变量、层次和位置的多任务预测。
• 引入重放缓冲区以提高长时制导预测的准确性和训练效率。

提出的方法

• 将天气数据表示为对应大气变量和压力层的多种模态。
• 使用模态定制的编码器提取每种模态的特征，使用跨模态 Transformer 将它们融合。
• 应用模态定制的解码器来预测每种模态的未来状态。
• 采用不确定性损失通过同方差不确定性自动加权不同任务。
• 实现一个重放缓冲区，存储先前的预测以模拟自回归推断并改善长时预测。

实验结果

研究问题

• RQ1 将全球中期天气预报视为一个多模态、多任务问题，是否能够提升预测技能和领先时间？
• RQ2 带有模态特异性编码器/解码器的跨模态 Transformer 是否优于单模态基线和先前的 AI 模型如 GraphCast？
• RQ3 基于不确定性的损失加权是否能自动平衡变量和压力层的预测？
• RQ4 重放缓冲区是否能有效提高长时预测的准确性和训练效率？

主要发现

• FengWu 将全球中期熟练预报的领先期延长至 10.75 天针对 z500（ACC>0.6），以及 11.5 天的 t2m。
• FengWu 在所报道的 880 个预测量中对 80% 的目标点具有比 GraphCast 更高的准确性。
• FengWu 在 NVIDIA Tesla A100 硬件上维持每次迭代约 600 ms 的低推理成本。
• 与 IFS 相比，FengWu 对单一成员的 10 天预报在能耗上大约低了 2000 倍。
• 重放缓冲区对于在更长时长保持性能提升至关重要。
• 训练使用 ERA5 数据，覆盖 39 年，分辨率 0.25°，有 37 个垂直层和 189 个预测量。