[论文解读] Deep Factors for Forecasting

Yuyang Wang, Alex Smola+4 more|arXiv (Cornell University)|May 28, 2019

Time Series Analysis and Forecasting参考文献 49被引用 58

一句话总结

一个混合全局-局部的预测框架，结合全局深度因子（确定性）与局部概率时间序列组件，以高效预测大量可交换时间序列并量化不确定性。

ABSTRACT

Producing probabilistic forecasts for large collections of similar and/or dependent time series is a practically relevant and challenging task. Classical time series models fail to capture complex patterns in the data, and multivariate techniques struggle to scale to large problem sizes. Their reliance on strong structural assumptions makes them data-efficient, and allows them to provide uncertainty estimates. The converse is true for models based on deep neural networks, which can learn complex patterns and dependencies given enough data. In this paper, we propose a hybrid model that incorporates the benefits of both approaches. Our new method is data-driven and scalable via a latent, global, deep component. It also handles uncertainty through a local classical model. We provide both theoretical and empirical evidence for the soundness of our approach through a necessary and sufficient decomposition of exchangeable time series into a global and a local part. Our experiments demonstrate the advantages of our model both in term of data efficiency, accuracy and computational complexity.

研究动机与目标

• 在存在依赖关系且需进行不确定性量化的前提下，为大量相关时间序列的预测提供动机。
• 提出一个全球-局部模型，将深度神经网络因子与局部概率成分结合在一起。
• 开发可扩展的推断方法，能够处理非高斯似然并实现逐序列的并行处理。
• 在合成数据和真实数据集上展示相对于现有方法的数据效率和预测准确性的提升。

提出的方法

• 将可交换时间序列表述为全局潜在序列 g 与在 g 条件下的局部时间序列 z_i（基于 de Finetti 的分解）。
• 引入带随机效应的深度因子模型（DFM+RE），其中全局因子是确定性的基于 RNN 的 g_k，局部效应 r_i 采用高斯、ISSM 或 GP 模型。
• 将潜在函数定义为 u_i = f_i + r_i，其中 f_i 为固定效应，是全局因子加权和（f_i = sum_k w_{i,k} g_k）。
• 将观测 z_{i,t} ~ p(z_{i,t}|u_i(x_{i,t})) 建模，提供高斯或非高斯似然的选项。
• 通过极大似然进行训练，并提供一种可扩展的变分推断方案，将全局与局部计算分离以提高效率。
• 讨论三种实现：DF-RNN、DF-LDS 和 DF-GP，以及相应的推断（DF-LDS 的卡尔曼滤波、DF-GP 的 GP 边际似然）。

实验结果

研究问题

• RQ1 全局潜在因子结构能否捕捉大量时间序列的共性动态，而局部成分则建模特征性行为？
• RQ2 如何在全局确定性+局部随机性模型中实现可扩展的推断，特别是在非高斯似然的情况下？
• RQ3 在真实数据集中，与纯局部或纯全球模型相比，全球深度因子是否提升了数据效率和预测准确性？
• RQ4 可交换时间序列理论（de Finetti）是否能为 forecasting 的全球局部分解提供理论依据和指导？

主要发现

• 所提出的全球-局部框架为可交换时间序列提供了一个有原则的分解，将其分解为全局潜在过程和局部序列，从而实现可扩展建模。
• 通过确定性 RNNs 和载荷来建模的全局因子，相较于标准的 RNN 预测器，可提升数据效率和计算效率。
• 局部效应可以用高斯噪声、ISSMs 或 GP 来建模，允许精确或变分边际似然，并实现不确定性传播。
• 在合成数据和真实数据集上的经验结果显示，DF 模型在有限训练数据下在准确性和变异性方面可超过 DeepAR、MQ-RNN 和 Prophet 等基准方法。