[论文解读] Autoregressive Denoising Diffusion Models for Multivariate Probabilistic Time Series Forecasting

Kashif Rasul, Calvin Seward+2 more|arXiv (Cornell University)|Jan 28, 2021

Time Series Analysis and Forecasting被引用 53

一句话总结

TimeGrad 是一个自回归扩散基模型，用于多变量概率时间序列预测，在每一步从数据分布采样，并在六个真实世界数据集上实现了 CRPS_sum 的最新状态。

ABSTRACT

In this work, we propose \ exttt{TimeGrad}, an autoregressive model for multivariate probabilistic time series forecasting which samples from the data distribution at each time step by estimating its gradient. To this end, we use diffusion probabilistic models, a class of latent variable models closely connected to score matching and energy-based methods. Our model learns gradients by optimizing a variational bound on the data likelihood and at inference time converts white noise into a sample of the distribution of interest through a Markov chain using Langevin sampling. We demonstrate experimentally that the proposed autoregressive denoising diffusion model is the new state-of-the-art multivariate probabilistic forecasting method on real-world data sets with thousands of correlated dimensions. We hope that this method is a useful tool for practitioners and lays the foundation for future research in this area.

研究动机与目标

• 促使多变量概率预测以捕捉众多时间序列维度之间的依赖关系。
• 使用扩散过程开发一个自回归能量基模型（EBM）来建模逐步分布。
• 通过 Langevin 动力学和对过去状态的自回归条件化实现对预测分布的采样。
• 在大规模真实世界数据集上对 TimeGrad 与多样基线进行对比，以证明改进的概率预测能力。

提出的方法

• 使用扩散概率模型来学习每个时间步发射的对数密度梯度。
• 将基于扩散的发射模型条件化于编码过去观测值和协变量的自回归 RNN（LSTM/GRU）状态。
• 采用变分下界进行训练，使其对预测噪声（ε_θ）表现为平方误差目标，与基于评分的模型相似。
• 通过退火 Langevin 动力学采样未来步骤以生成预测轨迹。
• 通过上下文窗口均值对时间序列进行归一化，以稳定训练和推理。
• 加入协变量嵌入（分类和连续）以丰富条件信息。

实验结果

研究问题

• RQ1 TimeGrad 能否模型化高维多变量时间序列未来时间步的完整条件分布？
• RQ2 自回归扩散基方法在 probabilistic forecasting 任务上与 VAR、VAR-Lasso、GARCH、KVAE、Vec-LSTM 变体以及 Transformer 基 MAf 方法相比的表现如何？
• RQ3 扩散长度（N）对预测性能的影响，以及 TimeGrad 如何随数据集规模和维度扩展？
• RQ4 协变量和尺度归一化在概率预测质量中起到何种作用？

主要发现

• TimeGrad 在六个真实世界数据集的多变量概率预测任务中实现了最先进的性能，在 CRPS_sum 上超越了广泛的基线。
• 在所有数据集中，TimeGrad 通常获得最佳的 CRPS_sum 分数，Table 2 中 TimeGradRow 条目显示出具有竞争力或更优的结果。
• 消融研究表明扩散长度 N 可以在较小损失下降至约 10，电力数据集的最佳近似在 N ≈ 100。
• TimeGrad 即使在非常高维输出（高达 963 维的 Traffic 数据集）下也表现出强劲性能。
• 消融结果表明模型在自回归条件化和基于扩散的发射建模下受益，而训练阶段不需要基于流的变换。