[论文解读] Comparison of Model Output Statistics and Neural Networks to Postprocess Wind Gusts

Cristina Primo, Benedikt Schulz+2 more|arXiv (Cornell University)|Jan 22, 2024

Meteorological Phenomena and Simulations被引用 4

一句话总结

本研究比较了基于线性回归与逻辑回归的模型输出统计（MOS）与先进神经网络方法——特别是分布回归网络（DRN）和伯恩斯坦分位数网络（BQN）——在风速阵风后处理中的表现。结果表明，神经网络方法，尤其是结合包含模型变更的扩展训练数据时，显著优于传统MOS，在预报校准和可靠性方面表现更优，为气象服务机构在业务中采用该方法提供了有力依据。

ABSTRACT

Wind gust prediction plays an important role in warning strategies of national meteorological services due to the high impact of its extreme values. However, forecasting wind gusts is challenging because they are influenced by small-scale processes and local characteristics. To account for the different sources of uncertainty, meteorological centers run ensembles of forecasts and derive probabilities of wind gusts exceeding a threshold. These probabilities often exhibit systematic errors and require postprocessing. Model Output Statistics (MOS) is a common operational postprocessing technique, although more modern methods such as neural network-bases approaches have shown promising results in research studies. The transition from research to operations requires an exhaustive comparison of both techniques. Taking a first step into this direction, our study presents a comparison of a postprocessing technique based on linear and logistic regression approaches with different neural network methods proposed in the literature to improve wind gust predictions, specifically distributional regression networks and Bernstein quantile networks. We further contribute to investigating optimal design choices for neural network-based postprocessing methods regarding changes of the numerical model in the training period, the use of persistence predictors, and the temporal composition of training datasets. The performance of the different techniques is compared in terms of calibration, accuracy, reliability and resolution based on case studies of wind gust forecasts from the operational weather model of the German weather service and observations from 170 weather stations.

研究动机与目标

• 评估基于神经网络的后处理方法（DRN、BQN）与传统模型输出统计（MOS）在风速阵 gust 预报中的性能表现。
• 评估在训练过程中模型变更（如ICON模型更新、数据同化KENDA）对神经网络预报质量的影响。
• 研究神经网络后处理的最优设计选择，包括使用持续性预测因子及训练数据集的时间组成。
• 在真实业务条件下，基于德国170个气象站的真实数据，提供公平、实证的比较。
• 通过评估采用神经网络在国家气象服务中的可行性与优势，支持从研究到业务的转化。

提出的方法

• 采用两步后处理流程：首先，对ICON和IFS模型的独立预报使用MOS或神经网络进行后处理；其次，将结果最优组合为统一的概率预报。
• 使用分布回归网络（DRN）和伯恩斯坦分位数网络（BQN）对风速阵 gust 的完整预测分布进行建模，从而实现在任意阈值下的概率预报。
• 在包含模型变更时期（如新ICON模型、KENDA数据同化）的扩展数据集上训练神经网络，使用二值指示变量来反映这些变化。
• 引入持续性预测因子（如近期观测到的阵 gust）以提升时间一致性与预报技巧，尤其在天气快速演变条件下。
• 使用评分卡汇总验证指标（如CRPS、可靠性、分辨力），以实现MOS与神经网络方法之间的直接、全面比较。
• 评估时间一致性和计算效率，以评估其在业务应用中的适用性，特别是在实时预警系统中的表现。

实验结果

研究问题

• RQ1 在风速阵 gust 预报中，基于神经网络的后处理方法（DRN与BQN）与传统MOS相比，在预报校准、准确性和可靠性方面表现如何？
• RQ2 在训练数据中包含模型变更（如新ICON模型、KENDA数据同化）对神经网络后处理模型性能有何影响？
• RQ3 不同设计选择（如使用持续性预测因子及训练数据的时间组成）如何影响神经网络后处理的预测性能？
• RQ4 在包含模型变更的较长、异质性训练数据集上训练的神经网络，是否能在业务风速阵 gust 预报中优于在同质数据上训练的模型？
• RQ5 在业务气象服务中，与MOS相比，使用神经网络的实际影响是什么，特别是在时间一致性和计算效率方面？

主要发现

• 基于神经网络的后处理方法，尤其是DRN与BQN，相比传统MOS，显著提升了预报校准与可靠性，尤其在捕捉极端风速阵 gust 事件方面表现更优。
• 在包含模型变更（如新ICON模型、KENDA数据同化）的更长数据集上训练神经网络，其预报性能优于在同质数据上训练的模型，即使模型变更发生在训练过程中。
• 引入持续性预测因子可提升预报准确性和时间一致性，尤其在短期风速阵 gust 预报中效果显著。
• DRN与BQN可提供完整的预测分布，从而实现在所有阈值下的稳定概率预报，而MOS通常仅关注阈值超越概率。
• 尽管神经网络结构复杂，但通过合理设计，其仍能保持时间一致性与计算可行性，适合业务应用。
• 本研究证明，在真实业务条件下，对操作性MOS与现代神经网络方法进行公平、直接的比较是可行的，并揭示了神经网络在CRPS和可靠性等关键验证指标上的明确优势。