[论文解读] DynaConF: Dynamic Forecasting of Non-Stationary Time Series

Siqi Liu, Andreas Lehrmann|arXiv (Cornell University)|Sep 17, 2022

Time Series Analysis and Forecasting被引用 4

一句话总结

DynaConF 提出了一种新颖的深度学习框架，用于预测非平稳时间序列，通过使用贝叶斯动态模型和因子化深度条件分布网络，显式地将平稳条件分布建模与时变非平稳动态分离。它在合成数据集和真实世界数据集上均优于最先进模型，尤其在分布动态变化时表现更优，通过有效适应未见变化，实现了更低的 CRPS 和 MSE 分数。

ABSTRACT

Deep learning has shown impressive results in a variety of time series forecasting tasks, where modeling the conditional distribution of the future given the past is the essence. However, when this conditional distribution is non-stationary, it poses challenges for these models to learn consistently and to predict accurately. In this work, we propose a new method to model non-stationary conditional distributions over time by clearly decoupling stationary conditional distribution modeling from non-stationary dynamics modeling. Our method is based on a Bayesian dynamic model that can adapt to conditional distribution changes and a deep conditional distribution model that handles multivariate time series using a factorized output space. Our experimental results on synthetic and real-world datasets show that our model can adapt to non-stationary time series better than state-of-the-art deep learning solutions.

研究动机与目标

• 为解决当前深度学习模型因隐含的平稳性假设而难以处理具有非平稳条件分布的时间序列预测挑战。
• 开发一种方法，显式建模条件分布随时间的变化，从而提升对未见分布偏移的泛化能力。
• 将时不变（平稳）分布建模与时变（非平稳）动态建模解耦，以提升模型的适应能力与推理效率。
• 实现对时间序列条件分布中新型、此前未见的分布变化的鲁棒测试时适应。
• 提升在统计特性随时间演变的多变量时间序列上的预测性能，特别是在潜在动态因未观测或新事件而发生改变时。

提出的方法

• 该模型使用贝叶斯动态模型来表示条件分布中的时变变化，从而实现对非平稳动态的自适应学习。
• 采用具有因子化输出空间的深度条件分布模型，以高效建模多变量时间序列，并在给定控制变量时学习平稳条件分布。
• 使用变分后验来近似潜变量后验，其复杂度随时间线性增长，从而实现对长序列的高效训练。
• 框架集成 Rao-Blackwellized 粒子滤波器，以在非平稳条件下实现高效的推理与后验估计。
• 控制变量显式参数化时变分量，使模型能够将平稳分布学习与动态偏移建模解耦。
• 通过可微分变分推理目标端到端训练模型，该目标在重建损失与后验正则化之间实现平衡。

实验结果

研究问题

• RQ1 深度学习模型是否能有效学习并适应时间序列中的非平稳条件分布，而无需假设参数为时不变？
• RQ2 将平稳分布建模与非平稳动态建模解耦，如何提升对未见分布偏移的泛化能力？
• RQ3 所提出方法在具有突发性或连续性分布变化的时间序列上，其性能相较于最先进模型能提升多少？
• RQ4 在因未观测或新事件引起非平稳性的现实世界数据集中，该模型表现如何？
• RQ5 对时变动态的显式建模，对预测不确定性与测试时适应的鲁棒性有何影响？

主要发现

• 在合成数据上，DynaConF 达到测试 CRPS 为 0.301，MSE 为 3.7，优于所有基线模型，包括消融模型 StatiConF，其误差更高，表明动态建模的必要性。
• 在 Walmart 数据集上，DynaConF 达到 CRPS 0.512 和 MSE 2.497e-3，显著优于最佳基线模型 TimeGrad（CRPS 0.604，MSE 3.190e-2）。
• 在 Temperature 数据集上，DynaConF 达到 CRPS 0.186 和 MSE 1.017e-3，优于 TimeGrad（CRPS 0.195，MSE 1.077e-3）及其他基线模型。
• 该模型在多样化数据集上表现出一致性能，尤其在条件分布发生显著偏移的场景中提升最大，证实了其设计目标——处理非平稳性。
• 消融研究显示，StatiConF（仅平稳版本）性能低于 DynaConF，证明在非平稳场景中显式建模时变动态至关重要。
• 该模型成功实现了对测试时未见分布偏移的适应，表现为更低的预测不确定性与更优的校准指标，尤其在动态环境中表现显著。