[论文解读] ENS-10: A Dataset For Post-Processing Ensemble Weather Forecasts

Saleh Ashkboos, Langwen Huang+6 more|arXiv (Cornell University)|Jun 29, 2022

Meteorological Phenomena and Simulations被引用 8

一句话总结

本文介绍了 ENS-10，这是一个用于中期天气预报（48小时预报时效）的高分辨率20年10成员扰动集合数据集，支持对集合天气预报进行改进的后处理。该研究提出了一项预测校正任务，采用CRPS和一种新颖的EECRPS指标，以优先考虑极端天气事件的准确性，通过一致的基线和开源工具对统计模型与深度学习模型进行基准测试。

ABSTRACT

Post-processing ensemble prediction systems can improve the reliability of weather forecasting, especially for extreme event prediction. In recent years, different machine learning models have been developed to improve the quality of weather post-processing. However, these models require a comprehensive dataset of weather simulations to produce high-accuracy results, which comes at a high computational cost to generate. This paper introduces the ENS-10 dataset, consisting of ten ensemble members spanning 20 years (1998-2017). The ensemble members are generated by perturbing numerical weather simulations to capture the chaotic behavior of the Earth. To represent the three-dimensional state of the atmosphere, ENS-10 provides the most relevant atmospheric variables at 11 distinct pressure levels and the surface at 0.5-degree resolution for forecast lead times T=0, 24, and 48 hours (two data points per week). We propose the ENS-10 prediction correction task for improving the forecast quality at a 48-hour lead time through ensemble post-processing. We provide a set of baselines and compare their skill at correcting the predictions of three important atmospheric variables. Moreover, we measure the baselines' skill at improving predictions of extreme weather events using our dataset. The ENS-10 dataset is available under the Creative Commons Attribution 4.0 International (CC BY 4.0) license.

研究动机与目标

• 为解决在集合天气后处理中用于训练和评估机器学习模型的标准化、高分辨率集合数据集的缺乏。
• 通过校正集合天气预报中的系统性偏差，提高预报的可靠性与极端天气事件预测的准确性。
• 提供一个统一的基准数据集和评估框架，采用CRPS和一种强调极端天气事件的新型EECRPS指标。
• 通过开源Python API、数据下载工具和Jupyter笔记本，实现可复现的研究与模型比较。
• 支持后处理之外的更广泛应用，如不确定性量化、缺失值填补以及从预报场中学习诊断场。

提出的方法

• ENS-10数据集包含1998年至2017年期间的10个扰动集合成员，为中期数值天气模拟结果，空间分辨率为0.5°，包含11个气压层次及地表变量。
• 大气状态由18个关键变量（如温度、位势高度、风速）在11个气压层次和地表表示，预报时间点为T=0、24和48小时。
• 后处理流程使用深度学习和统计模型，对有偏差的集合预报进行校正，将原始集合输出映射为校准后的预测分布。
• 模型性能通过连续概率评分（CRPS）和一种新型极端事件加权CRPS（EECRPS）进行评估，后者对高预测不确定性或与气候学显著偏离区域的误差施加更高权重。
• 按变量和位置进行数据归一化：EMOS使用最小-最大缩放，深度学习模型使用基于全局时间-集合统计量的z分数标准化。
• 基线模型包括EMOS、MLP、LeNet、U-Net和Transformer架构，所有模型均在单张A100 GPU上训练10个周期，采用三个随机种子以确保鲁棒性。

实验结果

研究问题

• RQ1 集合成员数量（10 vs. 5）如何影响后处理模型在纠正预报偏差方面的性能？
• RQ2 在不同大气变量（Z500、T850、T2m）上，EMOS、MLP、LeNet、U-Net或Transformer等机器学习架构中，哪一种实现最佳预报准确性？
• RQ3 与标准CRPS相比，新型EECRPS指标在多大程度上提升了极端天气事件的检测与预测准确性？
• RQ4 ENS-10数据集能否作为训练和评估各类模型架构与配置的可靠基准？
• RQ5 ERA5再分析数据集作为真实值的质量，如何影响在ENS-10上性能评估的有效性与可靠性？

主要发现

• LeNet风格模型在Z500变量上表现最佳，而Transformer模型在T850和T2m上表现最优，表明不同模型架构在不同变量上具有特定优势。
• U-Net模型在所有指标和变量上均表现出一致且强劲的性能，表明其在大气场空间特征学习方面具有鲁棒性。
• EMOS在部分运行中性能劣于原始集合，且方差较高，可能由于超参数调优不佳，表明其对初始化和优化过程较为敏感。
• EECRPS指标有效优先校正极端天气事件，奖励在高影响、高不确定性区域提升预测准确性的模型。
• 将集合规模从10个成员减少到5个成员，导致所有基线模型性能下降，凸显了集合规模对准确后处理的重要性。
• 该数据集及相关工具支持可复现的训练与评估，通过开源Python API和Jupyter笔记本，可完全访问原始数据、预处理、归一化及训练流程。