[论文解读] Deep Uncertainty Quantification: A Machine Learning Approach for Weather Forecasting

Bin Wang, Jie Lü+5 more|arXiv (Cornell University)|Dec 22, 2018

Hydrological Forecasting Using AIEnvironmental Science参考文献 29被引用 21

一句话总结

本文提出深度不确定性量化（DUQ），一种新颖的深度学习框架，通过端到端可训练模型联合利用历史观测数据与数值天气预报（NWP）数据，实现气象预测中的点预测与不确定性量化。该方法引入一种负对数似然误差（NLE）损失函数，显著提升模型泛化能力，相较于MSE与MAE损失，在北京气象数据集上较NWP提升47.76%的准确率，实现当前最优性能，并公开了基准数据集。

ABSTRACT

Weather forecasting is usually solved through numerical weather prediction (NWP), which can sometimes lead to unsatisfactory performance due to inappropriate setting of the initial states. In this paper, we design a data-driven method augmented by an effective information fusion mechanism to learn from historical data that incorporates prior knowledge from NWP. We cast the weather forecasting problem as an end-to-end deep learning problem and solve it by proposing a novel negative log-likelihood error (NLE) loss function. A notable advantage of our proposed method is that it simultaneously implements single-value forecasting and uncertainty quantification, which we refer to as deep uncertainty quantification (DUQ). Efficient deep ensemble strategies are also explored to further improve performance. This new approach was evaluated on a public dataset collected from weather stations in Beijing, China. Experimental results demonstrate that the proposed NLE loss significantly improves generalization compared to mean squared error (MSE) loss and mean absolute error (MAE) loss. Compared with NWP, this approach significantly improves accuracy by 47.76%, which is a state-of-the-art result on this benchmark dataset. The preliminary version of the proposed method won 2nd place in an online competition for daily weather forecasting.

研究动机与目标

• 解决数值天气预报（NWP）因对初始条件敏感及微分方程不稳定性带来的局限性。
• 开发一种数据驱动方法，有效融合历史观测与NWP输出，以提升预测准确率。
• 在时间序列回归中，同时实现高精度点预测与可靠的不确定性量化（预测区间）。
• 设计一种与标准深度学习框架兼容的可微分损失函数，以增强模型泛化能力。
• 建立一个公开可用的机器学习气象预测基准。

提出的方法

• 提出一种深度神经网络架构，通过有效的信息融合机制，同时输入历史气象观测与NWP模型输出。
• 引入一种新型负对数似然误差（NLE）损失函数，实现端到端训练，支持同时进行点估计与不确定性量化。
• NLE损失函数具备可微性，兼容PyTorch与TensorFlow，支持基于反向传播的优化，无需依赖贝叶斯推断。
• 采用高效的深度集成策略——通过不同初始化与数据划分方式训练多个模型，以提升鲁棒性与预测性能。
• 采用序列到序列框架，预测多个气象变量（温度、湿度、风速）在多个气象站与未来时间步的输出。
• 应用90%预测区间（PI）评估不确定性校准，覆盖率通过PICP（预测区间覆盖概率）衡量。

实验结果

研究问题

• RQ1 深度学习模型能否有效融合历史观测与NWP输出，从而提升气象预测准确率？
• RQ2 所提出的负对数似然误差（NLE）损失函数是否在气象预测中相比标准损失函数（如MSE与MAE）展现出更优的泛化能力？
• RQ3 单一深度学习模型能否同时生成高精度点预测与可靠的预测区间？
• RQ4 所提出的DUQ方法在真实世界气象数据上的性能与传统NWP及其他机器学习基线相比如何？
• RQ5 集成策略在多大程度上提升了预测系统的准确率与鲁棒性？

主要发现

• 所提出的NLE损失函数在点预测中的泛化能力显著优于MSE与MAE，该现象在现有文献中尚未见报道。
• 在北京市气象数据集上，DUQ相较于NWP实现47.76%的准确率提升，达到该基准的最先进性能。
• DUQ 300-300集成模型实现了最低的平均RMSE（3.3669），显著优于所有基线模型，包括使用MSE与MAE损失的Seq2Seq模型。
• DUQ生成的预测区间具有较高的覆盖率，温度的平均PICP为0.9249，相对湿度为0.9099，风速为0.9519，表明不确定性估计具有良好校准性。
• 深度集成策略显著提升了性能，DUQ 300-300模型在所有指标上均表现最佳，且集成收敛仅需2900次迭代，少于基线模型。
• 消融实验表明，若移除NWP或观测数据，性能将出现显著下降，证实了融合信息架构的重要性。