[论文解读] AIFS-CRPS: Ensemble forecasting using a model trained with a loss function based on the Continuous Ranked Probability Score

Simon Lang, Mihai Alexe+16 more|arXiv (Cornell University)|Dec 20, 2024

Forecasting Techniques and Applications被引用 6

一句话总结

AIFS-CRPS 使用概率性 afCRPS 损失训练一个机器学习的集合预报模型，以产生可交换的集合成员，相对于物理基准的 IFS 集合，在中期和亚季节预报技能方面具有竞争力甚至更优。

ABSTRACT

Over the last three decades, ensemble forecasts have become an integral part of forecasting the weather. They provide users with more complete information than single forecasts as they permit to estimate the probability of weather events by representing the sources of uncertainties and accounting for the day-to-day variability of error growth in the atmosphere. This paper presents a novel approach to obtain a weather forecast model for ensemble forecasting with machine-learning. AIFS-CRPS is a variant of the Artificial Intelligence Forecasting System (AIFS) developed at ECMWF. Its loss function is based on a proper score, the Continuous Ranked Probability Score (CRPS). For the loss, the almost fair CRPS is introduced because it approximately removes the bias in the score due to finite ensemble size yet avoids a degeneracy of the fair CRPS. The trained model is stochastic and can generate as many exchangeable members as desired and computationally feasible in inference. For medium-range forecasts AIFS-CRPS outperforms the physics-based Integrated Forecasting System (IFS) ensemble for the majority of variables and lead times. For subseasonal forecasts, AIFS-CRPS outperforms the IFS ensemble before calibration and is competitive with the IFS ensemble when forecasts are evaluated as anomalies to remove the influence of model biases.

研究动机与目标

• 在天气预测中激励/阐明对概率化、机器学习的集合预报的需求。
• 开发一个集合预报模型（AIFS-CRPS），使用连续排序概率分数变体进行训练，以更好地表示不确定性。
• 在中期和亚季节预报中评估 AIFS-CRPS 相对于 ECMWF IFS 集合的性能。

提出的方法

• 在 AIFS 架构中引入使用真实确定性状态（ERA5 或 IFS 分析）的概率性训练。
• 在八面体简化高斯网格框架内，使用 16 处理层的基于变换器的编码器/解码器。
• 利用 almost fair CRPS（afCRPS）进行训练，以在有限集合大小下平衡偏差校正并避免分数退化。
• 通过对每个成员处理的独立高斯噪声输入来表示集合成员，集合分片跨 GPU 以实现可扩展性。
• 在训练和推理期间使用自回归展开，以模拟多步预报，直至 72 小时或更长。
• 采用四阶段训练方案，具有分阶段的 rollout 长度和余弦学习率调度，以及基于 afCRPS 的损失。

Figure 1: Probabilistic training of AIFS-CRPS. A small ensemble of atmospheric states is propagated forward in time using separate model instances (that share the same weights). With ensemble sharding (see section 2.4 ), the ensemble forecasts are then gathered across all participating GPU devices u

实验结果

研究问题

• RQ1 AIFS-CRPS 是否通过学习用基于 CRPS 的损失来表示模型不确定性，从而提供可靠的概率预报？
• RQ2 在多变量和不同时间步的中期预报中，AIFS-CRPS 相对于物理基准的 IFS 集合的表现如何？
• RQ3 AIFS-CRPS 能否在不过度平滑或过度离散的前提下保持集合变异性，特别是在极端事件方面？
• RQ4 网格分辨率、集合大小和损失中的压力缩放对预报技能和分散度有什么影响？
• RQ5 作为原始场和异常场评估时，AIFS-CRPS 在亚季节性预报方面是否具有竞争力？

主要发现

• AIFS-CRPS 集合在预报期内保持现实的变异性，避免了 MSE 训练模型所见的平滑化。
• 与 IFS 集合相比，AIFS-CRPS 在许多中期变量上具有竞争力或更优，在若干区域的 CRPS 和 RMSE 方面有改进。
• 更高分辨率的 AIFS-CRPS（N320）通常比低分辨率设置（O96）在大量地表变量上具有更高的技能，尽管由于压力缩放选择，一些高层大气变量表现出退化。
• 在 2–3 周预报时段，AIFS-CRPS 相对于 IFS 在许多地表和对流层参数上显示亚季节性技能的提升，异常基准评估显示持续的益处。
• 在若干指标上，包括集合均值的相关性和 RMSE，该方法在与 MJO 相关的预报特征和集合行为方面优于 IFS。
• 总体而言，AIFS-CRPS 在近赤道以外区域产生更大且有时更良好校准的集合离散度，并且在许多情况下可以超越 IFS 集合，同时保持相对合理的集合统计量。

(a)