[论文解读] Applying SVGD to Bayesian Neural Networks for Cyclical Time-Series Prediction and Inference

Xinyu Hu, Paul Szerlip+2 more|arXiv (Cornell University)|Jan 17, 2019

Traffic Prediction and Management Techniques参考文献 14被引用 4

一句话总结

本文提出一种基于Stein变分梯度下降（SVGD）的贝叶斯神经网络（BNN），用于时空需求预测中的周期性时间序列预测，实现准确的点估计与校准的不确定性量化。与微调后的MLP相比，平均WMAPE降低10%，相较于非贝叶斯基线模型降低4%，同时在节假日期间捕捉到更高的预测变异性。

ABSTRACT

A regression-based BNN model is proposed to predict spatiotemporal quantities like hourly rider demand with calibrated uncertainties. The main contributions of this paper are (i) A feed-forward deterministic neural network (DetNN) architecture that predicts cyclical time series data with sensitivity to anomalous forecasting events; (ii) A Bayesian framework applying SVGD to train large neural networks for such tasks, capable of producing time series predictions as well as measures of uncertainty surrounding the predictions. Experiments show that the proposed BNN reduces average estimation error by 10% across 8 U.S. cities compared to a fine-tuned multilayer perceptron (MLP), and 4% better than the same network architecture trained without SVGD.

研究动机与目标

• 为解决工业场景（如网约车服务）中准确且鲁棒的时间序列预测挑战，其中不确定性校准不当会导致运力分配次优。
• 利用贝叶斯框架对周期性需求模式（尤其是节假日期间）的预测不确定性进行建模，同时捕捉模型不确定性和固有噪声。
• 通过基于SVGD的变分推断方法，将不确定性量化整合到标准神经网络的点估计中，以提升预测性能。
• 开发一种可扩展的非参数贝叶斯推断方法，适用于大规模神经网络，避免对后验分布形式施加强假设。
• 在全美8个城市的实际骑手需求数据上评估该方法，验证其在预测准确性和可靠不确定性估计方面的优势。

提出的方法

• 设计一个前馈确定性神经网络（DetNN），采用一维卷积编码器和并行解码器，以建模周期性时间序列模式，并引入独热编码的时序特征（如节假日、星期几）。
• 对模型参数（权重w和噪声协方差Σ）应用贝叶斯推断，使用层次先验：w ~ N(0, α⁻¹I)，α ~ Γ(a₀,b₀)，且对每个输出维度有σᵢ⁻² ~ Γ(a₁,b₁)。
• 采用Stein变分梯度下降（SVGD）近似模型参数的后验分布，实现无需显式后验密度形式的非参数、可扩展推断。
• 通过SVGD生成n个后验样本（粒子），用于计算预测均值E[y] = Eθ[E[y|θ]]及总预测方差的分解，包括模型不确定性和固有噪声。
• 利用全方差定律量化预测不确定性：Cov(y) = Covθ(E[y|θ]) + Eθ(Cov(y|θ))，其中第一项代表模型不确定性，第二项代表残差噪声。
• 采用w和Σ的独立学习率进行端到端训练，最终预测结果通过对SVGD粒子取平均以提升鲁棒性与不确定性校准效果。

实验结果

研究问题

• RQ1 与标准点估计模型相比，基于SVGD的贝叶斯神经网络是否能在周期性时间序列预测中提升预测准确性和不确定性校准？
• RQ2 通过SVGD实现的贝叶斯推断在多样化城市环境下的真实世界骑手需求预测中，对性能有何影响？
• RQ3 该模型是否如预期在异常时间窗口（如节假日期间）表现出更高的预测变异性，体现不确定预测场景下的校准能力？
• RQ4 与非贝叶斯DetNN和标准MLP基线相比，该BNN结合SVGD在降低WMAPE方面能达到多大程度的改进？
• RQ5 通过引入结构化的先验分布或噪声协方差中的相关结构，是否能超越当前独立对角假设的性能表现？

主要发现

• 在全美8个城市中，使用30个SVGD粒子的BNN（BNN-30）相比非贝叶斯DetNN将平均WMAPE降低4%，相比微调后的MLP降低10%。
• BNN模型在节假日期间（如圣诞节和感恩节）表现出显著更高的预测变异性，表明在高风险预测时段具备校准的不确定性。
• 即使随着WMAPE随预测时长远移而上升，95%可信区间覆盖率概率仍保持稳定或有所提升，证明了可靠的不确定性量化能力。
• BNN-30在所有城市中实现平均WMAPE为0.0741，优于BNN-10（0.0753）和BNN-50（0.0742），表明30个粒子为最优粒子数。
• 预测方差分解显示，模型不确定性（Covθ(E[y|θ]））对总变异性有显著贡献，尤其在异常事件期间更为明显。
• 该方法成功捕捉了需求中的周期性模式，并对独热编码的时序特征做出响应，从而在节假日等特殊时间段提升了性能。