[论文解读] AIFS -- ECMWF's data-driven forecasting system

Simon Lang, Mihai Alexe+14 more|arXiv (Cornell University)|Jun 3, 2024

Forecasting Techniques and Applications被引用 63

一句话总结

AIFS 是 ECMWF 的数据驱动天气预报系统，使用图神经网络编码器-解码器和滑动窗口变换器处理器，在 ERA5 和 ECMWF 分析上训练；它每天四次运行，与基于物理的 NWP 模型并行，且在上空、地面和热带气旋预报方面的技能与 IFS 和 ERA5 相当。

ABSTRACT

Machine learning-based weather forecasting models have quickly emerged as a promising methodology for accurate medium-range global weather forecasting. Here, we introduce the Artificial Intelligence Forecasting System (AIFS), a data driven forecast model developed by the European Centre for Medium-Range Weather Forecasts (ECMWF). AIFS is based on a graph neural network (GNN) encoder and decoder, and a sliding window transformer processor, and is trained on ECMWF's ERA5 re-analysis and ECMWF's operational numerical weather prediction (NWP) analyses. It has a flexible and modular design and supports several levels of parallelism to enable training on high-resolution input data. AIFS forecast skill is assessed by comparing its forecasts to NWP analyses and direct observational data. We show that AIFS produces highly skilled forecasts for upper-air variables, surface weather parameters and tropical cyclone tracks. AIFS is run four times daily alongside ECMWF's physics-based NWP model and forecasts are available to the public under ECMWF's open data policy.

研究动机与目标

• 激励开发数据驱动、面向运营的天气预报系统，作为物理基 NWP 的替代或补充。
• 描述 AIFS 架构与训练 regime，包括数据来源、图神经网络、以及基于变换器的处理。
• 评估 AIFS 相对于 ECMWF IFS 分析和 ERA5 观测在上空和地面变量及热带气旋的预报技能。
• 展示可扩展性与并行性，支持高分辨率数据处理和潜在概率集合能力。

提出的方法

• Encoder-processor-decoder 设计，通过截断半径将 ERA5 输入映射到处理器网格上，然后将潜在状态投影回 ERA5 网格。
• GNN 块使用多头图变换卷积的编码/解码器，处理器使用带有偏置前归一化的变换器，具有移位窗口注意力。
• 处理器网格基于八面体简化高斯网格（N320），分辨率约为 1°；在每个节点和边上添加八个可学习特征。
• 激活检查点（activation checkpointing）与序列/张量并行以实现对高分辨率数据的训练和混合精度训练。
• 端到端训练，采用自回归展开，先在 ERA5 上进行预训练，展开训练，并对运营的 IFS 分析进行微调；损失函数为按区域加权的 MSE，并对各变量进行缩放。

实验结果

研究问题

• RQ1 AIFS 的数据驱动预测质量在多大程度上相对于 ECMWF 的 IFS 分析和 ERA5 观测在长达 10 天的预报时效中表现？
• RQ2 哪些架构选择（GNN 编码/解码、变换器处理器、简化高斯网格）实现了可扩展的高分辨率数据驱动预报？
• RQ3 数据并行与张量并行训练模式是否能够在运营类似工作流中支持大型集合和概率性预报？
• RQ4 在上空与地面场以及热带气旋追踪方面，AIFS 的优势与局限性分别是什么？
• RQ5 哪些改进（损失缩放、微调策略、概率目标）可以进一步提升预报技能？

主要发现

• AIFS 在上空和地面变量以及热带气旋轨迹方面提供了高水平的预报技能，并在若干指标上对 IFS 的相关 ACC 取得竞争性提升。
• 相较于 IFS，在较长的预报时效中可观察到预报技能优势，在对对流层至约 100 hPa 的高度层进行验算时有显著提升。
• 在对分析和观测进行验算时，地面预报（如 2 m 温度、10 m 风）表现出对 IFS 的持续改进。
• 随着预报时效增加，AIFS 倾向于平滑场景，这是训练中使用的按区域加权 MSE 损失所致；正在探索概率性目标以缓解此问题。
• 与 GraphCast 相比，AIFS 表现相近，差异随时间和训练/微调方法而变化。
• 热带气旋轨迹预报在 AIFS 上显著优于 IFS，主要是因为传播速度的慢速偏差减少，尽管相对于 IFS 可能低估了气旋强度。