[论文解读] Bayesian Recurrent Neural Network Models for Forecasting and Quantifying Uncertainty in Spatial-Temporal Data

Patrick L. McDermott, Christopher K. Wikle|arXiv (Cornell University)|Nov 2, 2017

Forecasting Techniques and Applications被引用 5

一句话总结

本文提出了一种贝叶斯循环神经网络（BAST-RNN）模型，将RNN的预测能力与全贝叶斯框架下的严格不确定性量化相结合。该方法在非线性时空应用中，包括洛伦兹混沌、厄尔尼诺-南方涛动（ENSO）以及美国各州层面的失业数据，相较于现有模型，显著提升了预测准确率与不确定性估计能力。

ABSTRACT

Recurrent neural networks (RNNs) are nonlinear dynamical models commonly used in the machine learning and dynamical systems literature to represent complex dynamical or sequential relationships between variables. More recently, as deep learning models have become more common, RNNs have been used to forecast increasingly complicated systems. Dynamical spatio-temporal processes represent a class of complex systems that can potentially benefit from these types of models. Although the RNN literature is expansive and highly developed, uncertainty quantification is often ignored. Even when considered, the uncertainty is generally quantified without the use of a rigorous framework, such as a fully Bayesian setting. Here we attempt to quantify uncertainty in a more formal framework while maintaining the forecast accuracy that makes these models appealing, by presenting a Bayesian RNN model for nonlinear spatio-temporal forecasting. Additionally, we make simple modifications to the basic RNN to help accommodate the unique nature of nonlinear spatio-temporal data. The proposed model is applied to a Lorenz simulation and two real-world nonlinear spatio-temporal forecasting applications.

研究动机与目标

• 解决循环神经网络（RNNs）在非线性时空预测中缺乏正式不确定性量化的问题。
• 构建一个贝叶斯框架，在保留RNN预测能力的同时，实现严格的不确定性估计。
• 提升模型在具有空间与时间维度上潜在交互作用的复杂、高维非线性动力系统中的灵活性与鲁棒性。
• 在多样化的现实世界与合成时空系统中，展示该模型在预测准确率与不确定性校准方面的优越性。
• 为分层贝叶斯机器学习模型提供基础，以解析复杂过程中多层级的不确定性。

提出的方法

• 通过在RNN的循环权重与输出权重上设定先验分布，构建贝叶斯RNN（BAST-RNN），以实现完整的后验推断。
• 使用马尔可夫链蒙特卡洛（MCMC）采样近似网络参数的后部分布，从而实现不确定性量化。
• 通过引入时空注意力机制，对标准RNN架构进行改进，以更好地捕捉局部与全局的空间依赖关系。
• 引入变分推理近似方法，提升大规模应用下的计算效率。
• 将模型应用于具有时间动态与空间相关性的序列数据，采用随时间演化的隐状态表示。
• 利用后验预测分布生成带有95%可信区间的概率预测，实现正式的不确定性评估。

实验结果

研究问题

• RQ1 RNN的贝叶斯化是否能在不牺牲预测准确率的前提下，提升非线性时空预测中的不确定性量化能力？
• RQ2 在复杂非线性动力系统中，BAST-RNN相较于非贝叶斯RNN与传统统计模型的表现如何？
• RQ3 BAST-RNN在捕捉与预测混沌系统（如洛伦兹模型）中的复杂吸引子动力学方面，能力达到何种程度？
• RQ4 该模型在厄尔尼诺-南方涛动（ENSO）与区域失业趋势等多样化真实世界时空过程中的泛化能力如何？
• RQ5 该贝叶斯框架是否能够支持在高维时空数据中多尺度不确定性的分层建模？

主要发现

• 在洛伦兹系统、ENSO与美国各州失业率三个应用中，BAST-RNN在预测准确率上全面优于E-QESN、GQN与Linear DSTM模型。
• 在2008–2016年美国失业率应用中，BAST-RNN最准确地捕捉了经济复苏期间失业率的下降趋势，尤其在周期延迟或复杂的州份中表现突出。
• 该模型生成了校准良好的95%后验预测区间，图4中的阴影可信区间比竞争模型更一致地覆盖了观测数据趋势。
• 在2015–2016年ENSO周期中，尽管在捕捉峰值与衰减阶段存在挑战，BAST-RNN仍正确预测了整体轨迹，展现出更优的不确定性感知预测能力。
• BAST-RNN在高噪声条件下成功模拟了多尺度洛伦兹系统，展现出对混沌动力学与非线性相互作用的强鲁棒性。
• 该模型在处理准线性系统（如海表温度SST、失业率）与高度非线性系统（如洛伦兹系统）方面均表现出色，凸显其在不同非线性程度下的高度灵活性。