[论文解读] Multi-period Time Series Modeling with Sparsity via Bayesian Variational Inference

Daniel Hsu|arXiv (Cornell University)|Jul 3, 2017

Time Series Analysis and Forecasting参考文献 22被引用 16

一句话总结

该论文提出了一种用于多周期时间序列的贝叶斯变分推断模型，通过使用具有多个过渡周期的分层潜在变量结构以及诱导稀疏性的霍舍（Horseshoe）先验，自动剔除无关的输入变量。该方法通过建模日、周和月趋势之间的长期依赖关系，同时抑制冗余输入带来的噪声，在合成数据和真实世界销售数据上均提升了预测准确性。

ABSTRACT

In this paper, we use augmented the hierarchical latent variable model to model multi-period time series, where the dynamics of time series are governed by factors or trends in multiple periods. Previous methods based on stacked recurrent neural network (RNN) and deep belief network (DBN) models cannot model the tendencies in multiple periods, and no models for sequential data pay special attention to redundant input variables which have no or even negative impact on prediction and modeling. Applying hierarchical latent variable model with multiple transition periods, our proposed algorithm can capture dependencies in different temporal resolutions. Introducing Bayesian neural network with Horseshoe prior as input network, we can discard the redundant input variables in the optimization process, concurrently with the learning of other parts of the model. Based on experiments with both synthetic and real-world data, we show that the proposed method significantly improves the modeling and prediction performance on multi-period time series.

研究动机与目标

• 解决现有RNN和DBN模型在捕捉时间序列数据中多时间尺度长期依赖关系方面的局限性。
• 开发一种能够自动识别并剔除可能降低预测性能的无关或冗余输入变量的方法。
• 利用具有不同过渡周期的分层潜在变量结构，建模多周期动态（如日、周和月趋势）。
• 将贝叶斯稀疏学习与非中心化霍舍先验整合到深度生成模型中，实现稳健且可解释的时间序列建模。
• 在具有已知结构的合成数据和具有高维、潜在噪声输入的真实世界销售数据上评估模型性能。

提出的方法

• 该模型采用具有多层的分层潜在变量结构，每层具有不同的过渡周期（例如，S₁=1，S₂=7，S₃=30），以捕捉不同的时间尺度。
• 使用非中心化霍舍先验的稀疏化贝叶斯神经网络处理输入变量，实现通过将无关输入压缩至零来自动选择。
• 推理网络使用堆叠的门控循环单元（GRUs）来估计各层的潜在变量，每层的转换被建模为给定前序状态和输入的多元正态分布。
• 解码器是一个多层神经网络，利用所有当前潜在变量重建目标时间序列。
• 通过贝叶斯变分推断训练模型，优化包含加权KL散度项的变分下界，以平衡重建与正则化。
• 在目标函数中对KL散度项应用系数ξ < 1，以在真实世界设置中提升泛化能力和预测准确性。

实验结果

研究问题

• RQ1 深度生成模型能否有效捕捉具有明显日、周和月趋势的时间序列中的多周期时间动态？
• RQ2 基于霍舍先验的贝叶斯稀疏学习能否有效识别并抑制时间序列建模中的无关输入变量？
• RQ3 与VRNN、SRNN和LSTM等现有模型相比，该模型在合成数据和真实世界数据上的预测性能如何？
• RQ4 在高维输入设置下，霍舍先验中的非中心化参数化是否能提升模型稳定性与稀疏性？
• RQ5 调整KL散度加权系数ξ在多大程度上能提升真实世界时间序列预测的准确性？

主要发现

• 在趋势强度递增的合成数据（α = 0.1, 0.15, 0.2）上，所提模型在α=0.2时达到显著更低的负对数似然值（例如-9.550），优于VRNN（-12.684）、SRNN（-13.523）和LSTM（-17.543）。
• 在真实世界的Rossmann销售数据上，所提模型在ξ=1e-3时达到最低的RMSPE（0.110），优于VRNN（0.119）、SRNN（0.122）和LSTM（0.182）。
• 该模型在不同趋势强度和输入噪声水平下表现出鲁棒性，在合成实验的所有测试α值下均保持优异性能。
• 使用加权KL散度项（ξ < 1）显著提升了预测准确性，最佳RMSPE在ξ=1e-3时取得。
• 霍舍先验成功识别并抑制了无关输入变量（如油价和汇率），这些变量对销售预测几乎无影响。
• 具有多个过渡周期的分层潜在结构使模型能够捕捉复杂、多尺度的时间依赖关系，而单步模型（如LSTM或标准RNN）则难以有效建模。