[论文解读] Ensemble weather forecast post-processing with a flexible probabilistic neural network approach

Peter Mlakar, Janko Merše+1 more|arXiv (Cornell University)|Mar 29, 2023

Meteorological Phenomena and Simulations被引用 4

一句话总结

该论文提出 ANET2，一种基于神经网络的新型集合天气预报后处理方法，通过使用归一化流联合建模所有位置和预报时效，实现灵活且精确的概率分布估计。在 EUPPBench 基准测试中，其性能优于先前方法（包括其前身 ANET1），通过改进分布建模与联合推理，无需对每个预报时效或每个位置分别拟合模型，达到最先进水平。

ABSTRACT

Ensemble forecast post-processing is a necessary step in producing accurate probabilistic forecasts. Conventional post-processing methods operate by estimating the parameters of a parametric distribution, frequently on a per-location or per-lead-time basis. We propose a novel, neural network-based method, which produces forecasts for all locations and lead times, jointly. To relax the distributional assumption of many post-processing methods, our approach incorporates normalizing flows as flexible parametric distribution estimators. This enables us to model varying forecast distributions in a mathematically exact way. We demonstrate the effectiveness of our method in the context of the EUPPBench benchmark, where we conduct temperature forecast post-processing for stations in a sub-region of western Europe. We show that our novel method exhibits state-of-the-art performance on the benchmark, outclassing our previous, well-performing entry. Additionally, by providing a detailed comparison of three variants of our novel post-processing method, we elucidate the reasons why our method outperforms per-lead-time-based approaches and approaches with distributional assumptions.

研究动机与目标

• 解决传统后处理方法依赖于表达能力有限的刚性、逐预报时效或逐位置参数分布的局限性。
• 开发一种统一的神经网络模型，实现对所有位置和预报时效的联合概率预测，提升泛化能力与校准性能。
• 通过使用归一化流放松分布假设，实现温度预报的数学上精确、灵活的密度估计。
• 在真实世界基准设置中评估灵活分布建模对预报校准与预测性能的影响。
• 证明结合先进分布估计的联合建模显著优于标准的逐预报时效或参数化方法。

提出的方法

• ANET2 采用深度神经网络架构，联合端到端地处理原始集合预报、站点嵌入向量和时间特征，以预测所有位置和预报时效的分布参数。
• 采用归一化流——具体为基于样条变换的连续归一化流——对复杂、非高斯的预报分布进行精确密度估计。
• 通过使用合适的评分规则（如对数评分）进行训练，以优化概率预报质量，确保预测分布具有良好的校准性与锐利性。
• 由于归一化流提供从基分布到预报分布的单调且可逆变换，该方法在结构上避免了分位数交叉问题。
• ANET2_NORM 为对比版本，使用固定的正态分布；ANET2_BERN 使用伯恩斯坦分位数回归，用于消融实验以分析分布假设的影响。
• 推理流程在 GPU 上仅需 36.08 秒即可处理完整的 D51 测试数据集（167,170 个预报），展现出实际可行性。

Figure 1: The neural network architecture of ANET1. The parameter f denotes the number of features in a dense layer. The parameters t and p denote the lead time and the number of per-lead-time parameters required by the normal distribution model. The circular blocks denote the following operations:

实验结果

研究问题

• RQ1 与逐预报时效或逐站点方法相比，对所有位置和预报时效进行联合建模是否能提升预报的校准性与锐利性？
• RQ2 通过启用灵活且精确的分布估计而无需参数假设，归一化流是否能显著提升概率预报性能？
• RQ3 在预测准确性和计算成本方面，不同分布估计器（正态分布、伯恩斯坦分布、归一化流）的表现如何比较？
• RQ4 在真实气象场景中，放松分布假设在多大程度上提升了预报质量？
• RQ5 归一化流带来的模型复杂度增加是否在标准化基准测试中带来了可测量的预报技能提升？

主要发现

• ANET2 在 EUPPBench 基准测试中达到最先进性能，所有评估指标（包括对数评分、CRPS 和可靠性图）均优于其前身 ANET1。
• ANET2 中使用归一化流实现了精确的非参数密度估计，消除了分位数交叉等问题，显著提升了校准性。
• ANET2 的分布模型仅需 840 个参数，远超 ANET2_NORM（42 个参数）和 ANET2_BERN（273 个参数），但预测性能最佳。
• 尽管计算成本更高，ANET2 仍可在 GPU 上仅用 36.08 秒处理完整 D51 测试数据集，证明其实际可行性。
• 消融实验表明，与逐预报时效方法相比，跨位置和预报时效的联合建模更有效，尤其在结合灵活分布估计时效果更显著。
• ANET2 的卓越性能归因于其统一架构与归一化流强大的表达能力，后者能更准确捕捉复杂、非高斯的预报分布。

Figure 2: The neural network architecture of ANET2. The parameter f denotes the number of features in a dense layer. The parameters t and p denote the lead time and the number of per-lead-time parameters required by the normalizing flow. The circular blocks denote the following operations: M denotes