[论文解读] Benchmark Dataset for Precipitation Forecasting by Post-Processing the Numerical Weather Prediction

Taehyeon Kim, Namgyu Ho+2 more|arXiv (Cornell University)|Jun 30, 2022

Meteorological Phenomena and Simulations被引用 6

一句话总结

本文提出了KoMet，一个用于通过深度学习后处理数值天气预报（NWP）输出以提升降水预报准确性的基准数据集。通过在GDAPS-KIM NWP输出上使用自动气象站（AWS）的真实降雨数据进行深度神经网络训练，该方法在长期预报中显著提升了准确性和可解释性，同时与未来NWP技术的发展保持兼容。该数据集和开源工具已公开，供研究使用。

ABSTRACT

Precipitation forecasting is an important scientific challenge that has wide-reaching impacts on society. Historically, this challenge has been tackled using numerical weather prediction (NWP) models, grounded on physics-based simulations. Recently, many works have proposed an alternative approach, using end-to-end deep learning (DL) models to replace physics-based NWP models. While these DL methods show improved performance and computational efficiency, they exhibit limitations in long-term forecasting and lack the explainability. In this work, we present a hybrid NWP-DL workflow to fill the gap between standalone NWP and DL approaches. Under this workflow, the outputs of NWP models are fed into a deep neural network, which post-processes the data to yield a refined precipitation forecast. The deep model is trained with supervision, using Automatic Weather Station (AWS) observations as ground-truth labels. This can achieve the best of both worlds, and can even benefit from future improvements in NWP technology. To facilitate study in this direction, we present a novel dataset focused on the Korean Peninsula, termed KoMet (Korea Meteorological Dataset), comprised of NWP outputs and AWS observations. For the NWP model, the Global Data Assimilation and Prediction Systems-Korea Integrated Model (GDAPS-KIM) is utilized. We provide analysis on a comprehensive set of baseline methods aimed at addressing the challenges of KoMet, including the sparsity of AWS observations and class imbalance. To lower the barrier to entry and encourage further study, we also provide an extensive open-source Python package for data processing and model development. Our benchmark data and code are available at https://github.com/osilab-kaist/KoMet-Benchmark-Dataset.

研究动机与目标

• 解决纯深度学习模型和NWP模型在长期和可解释性降水预报方面的局限性。
• 开发一种结合NWP与深度学习的混合工作流程，利用基于物理的NWP输出和监督式深度学习，实现更精细的降水预测。
• 提供一个全面、公开可用的基准数据集和开源工具，以加速NWP后处理在降水预报领域的研究。
• 分析韩国半岛复杂地形和季风气候背景下，AWS观测稀疏性和类别不平衡等挑战。

提出的方法

• 该方法以GDAPS-KIM NWP模型输出作为深度神经网络的输入特征，以每小时AWS降雨观测作为监督训练的真值标签。
• 提出一种混合NWP-DL工作流程，即通过深度学习模型对NWP输出进行后处理，以优化降水预报。
• KoMet数据集包含50×65空间网格的NWP输出（12km分辨率）和韩国半岛484个AWS站点的数据，时间范围为2020–2021年7月和8月。
• 使用CSI、准确率和偏差等指标评估基准模型（如ConvLSTM和U-Net），并开展关于空间建模和分类阈值的消融研究。
• 该框架支持对降雨强度（如轻度、中度、强降雨）的自定义分类阈值，实现对不同降水类别的灵活评估。
• 提供一个开源的Python包，以简化数据处理、模型训练和评估流程，降低研究人员的入门门槛。

实验结果

研究问题

• RQ1 与独立的NWP或深度学习模型相比，通过深度学习后处理NWP输出在提升降水预报准确性方面效果如何？
• RQ2 在稀疏且类别不平衡的降水数据上，深度学习架构中引入空间和时间建模在多大程度上提升了预报性能？
• RQ3 模型在不同预报时效和月份（特别是在韩国半岛的梅雨季节）下的泛化能力如何变化？
• RQ4 不同降雨强度的分类阈值对模型性能和指标解释有何影响？
• RQ5 与仅基于点的处理方法相比，深度学习架构中的空间建模在纠正NWP输出时有多有效？

主要发现

• 混合NWP-DL方法显著提升了降水预报性能，其中ConvLSTM在轻度降雨预报中达到CSI为0.296，重度降雨预报的偏差为0.006。
• 采用多个分类阈值（如V4含6个类别）的模型相比基线模型，重度降雨的CSI提升了3.2%（达0.032），尽管轻度降雨的CSI略有下降。
• 空间建模至关重要：仅基于点的架构在轻度降雨预报中CSI仅为0.195，显著低于ConvLSTM的0.296。
• 冬季因降雨量低，性能下降，全年平均降雨的CSI值接近0.3，但重度降雨的CSI因事件稀少而急剧下降。
• 按预报时效绘制的CSI曲线显示出与实际降雨比例相似的拐点，表明模型对时间预报范围和降水频率具有敏感性。
• 该框架支持灵活的阈值设定，增加中间降雨类别数量可在一定程度上提升重度降雨的CSI，但会带来轻微的轻度降雨性能损失。