[论文解读] Deep Factors with Gaussian Processes for Forecasting

Danielle C. Maddix, Yuyang Wang+1 more|arXiv (Cornell University)|Nov 30, 2018

Gaussian Processes and Bayesian Inference参考文献 19被引用 18

一句话总结

本文提出深度因子高斯过程（DFGP），一种可扩展的全局-局部模型，结合深度学习以捕捉共享的时间模式，并利用局部高斯过程对单个时间序列的不确定性进行建模。通过使用注意力机制驱动的深度因子表示全局动态，结合高斯过程先验描述局部波动，DFGP在大规模时间序列预测任务中实现了最先进水平的准确性与更优的不确定性量化。

ABSTRACT

A large collection of time series poses significant challenges for classical and neural forecasting approaches. Classical time series models fail to fit data well and to scale to large problems, but succeed at providing uncertainty estimates. The converse is true for deep neural networks. In this paper, we propose a hybrid model that incorporates the benefits of both approaches. Our new method is data-driven and scalable via a latent, global, deep component. It also handles uncertainty through a local classical Gaussian Process model. Our experiments demonstrate that our method obtains higher accuracy than state-of-the-art methods.

研究动机与目标

• 为解决经典时间序列模型在可扩展性方面表现不佳且缺乏全局模式提取能力的问题，以及深度神经网络在不确定性量化方面表现不佳的问题。
• 开发一种可扩展的、数据驱动的预测模型，利用大量时间序列之间的共享全局模式，同时保留单个时间序列的变异性。
• 将局部的概率性高斯过程模型与全局的深度学习模型相结合，实现在预测中的不确定性传播。
• 在训练数据有限的大规模时间序列集合上，实现高精度的预测与可靠的不确定性估计。

提出的方法

• 该模型将每个时间序列分解为由K个潜在深度动态因子驱动的全局成分，这些因子通过带有时间注意力机制的RNN（如LSTM）进行学习，以加权因子的贡献。
• 全局因子表示与时间序列特定的注意力权重相结合，形成固定效应成分：$ f_{i,t} = w_i^T g_t(x_{i,t}) $。
• 局部随机效应建模为高斯过程 $ r_i \sim \text{GP}(0, \mathcal{K}_i(\cdot,\cdot)) $，捕捉单个时间序列的偏离，并支持不确定性传播。
• 观测值建模为 $ z_{i,t} \sim p(\cdot|u_{i,t}) $，其中 $ u_{i,t} = f_{i,t} + r_{i,t} $，采用高斯似然以实现高效的边际似然计算。
• 通过最大似然估计进行推断，边际似然计算为 $ p(z_i) = \mathcal{N}(f_i, \mathcal{K}_i + \sigma_i^2 \mathbb{I}) $，从而支持高效训练。
• 模型使用径向基函数（RBF）核作为高斯过程核，并在MXNet Gluon中实现，使用p3.4xlarge SageMaker实例进行训练。

实验结果

研究问题

• RQ1 结合深度学习与高斯过程的混合模型是否能在大规模时间序列集合上实现比最先进方法更优的预测准确性？
• RQ2 此类模型是否能有效捕捉预测中的不确定性，同时保持对大规模数据集的可扩展性？
• RQ3 采用注意力机制驱动的深度因子与局部高斯过程的全局-局部架构，是否在准确性和不确定性量化方面均优于纯深度学习或纯概率模型？
• RQ4 在仅有有限训练数据的冷启动条件下，该模型的泛化能力如何？

主要发现

• 在电力数据集上，DFGP在3天预测中的P90QL达到0.061，显著优于DeepAR（0.182）和Prophet（0.103），显示出更优的不确定性量化能力。
• 在电力数据集的24小时预测中，DFGP将P90QL降低至0.074，优于DeepAR（0.100）和Prophet（0.091），表明其具备更优的不确定性估计性能。
• 在交通数据集上，DFGP在3天预测中的P90QL为0.093，优于DeepAR（0.162）和Prophet（0.207）。
• 在24小时交通预测中，DFGP的P90QL为0.090，优于DeepAR（0.149）和Prophet（0.191），显示出在不确定性估计方面的持续优势。
• 在24小时电力预测中，DFGP将RMSE降低至454.307，优于Prophet（783.598）和DeepAR（2100.927），表明其点预测精度更高。
• 仅使用一周训练数据，DFGP在两个数据集上均表现出色，证明其对有限数据的鲁棒性与可扩展性。