[论文解读] Deep Explicit Duration Switching Models for Time Series

Abdul Fatir Ansari, Konstantinos Benidis+6 more|arXiv (Cornell University)|Oct 26, 2021

Time Series Analysis and Forecasting参考文献 46被引用 4

一句话总结

本文提出了一种递归显式持续时间切换动力系统（RED-SDS），一种深度状态空间模型，通过递归的状态到切换连接和显式持续时间建模，联合捕捉时间序列中的状态相关和时间相关切换动态。该模型通过连续状态的推理网络和离散切换与计数的精确前向-后向推理，实现高效的混合推理，在多个基准测试中实现了最先进水平的分割性能和具有竞争力的预测性能。

ABSTRACT

Many complex time series can be effectively subdivided into distinct regimes that exhibit persistent dynamics. Discovering the switching behavior and the statistical patterns in these regimes is important for understanding the underlying dynamical system. We propose the Recurrent Explicit Duration Switching Dynamical System (RED-SDS), a flexible model that is capable of identifying both state- and time-dependent switching dynamics. State-dependent switching is enabled by a recurrent state-to-switch connection and an explicit duration count variable is used to improve the time-dependent switching behavior. We demonstrate how to perform efficient inference using a hybrid algorithm that approximates the posterior of the continuous states via an inference network and performs exact inference for the discrete switches and counts. The model is trained by maximizing a Monte Carlo lower bound of the marginal log-likelihood that can be computed efficiently as a byproduct of the inference routine. Empirical results on multiple datasets demonstrate that RED-SDS achieves considerable improvement in time series segmentation and competitive forecasting performance against the state of the art.

研究动机与目标

• 解决现有切换动力系统无法联合建模状态相关和时间相关切换行为的局限性。
• 通过捕捉长期时间模式并减少过度分割，改进时间序列分割。
• 通过学习特定制度的动力学并一致地外推，实现具有竞争力的概率预测。
• 开发一种高效的推理算法，结合连续状态的近似推理与离散切换和持续时间计数的精确推理。
• 通过持续时间模型超参数引入归纳偏置，以更好地识别复杂时间序列中的持久制度。

提出的方法

• RED-SDS 使用一个通过非线性、递归转换演化的潜在状态来建模时间序列，其中切换决定当前激活的制度。
• 它引入显式持续时间变量以建模时间相关切换，其中每个切换具有持续时间分布（例如几何分布或伽马分布），用于捕捉制度中的持久性。
• 从状态到切换的递归连接实现了状态相关切换，允许根据状态轨迹的变化来触发制度转换。
• 采用混合推理：推理网络近似连续状态的后验分布，而精确的前向-后向算法计算离散切换和计数的后验分布。
• 通过在推理过程中高效计算的蒙特卡洛下界（ELBO）来最大化边际对数似然，实现模型训练。
• 神经网络参数化转换、观测和切换动力学，从而实现对非线性和非高斯时间序列的灵活建模。

实验结果

研究问题

• RQ1 一个单一模型能否有效捕捉时间序列中状态相关和时间相关切换动态？
• RQ2 与无此机制的模型相比，显式持续时间建模是否能提升分割准确率并减少过度分割？
• RQ3 混合推理框架能否高效处理状态-时间联合切换带来的复杂性增加？
• RQ4 在多样化数据集上，RED-SDS 的预测性能与最先进模型相比如何？
• RQ5 该模型能否在无结构约束条件下学习到有意义且可解释的制度？

主要发现

• RED-SDS 在时间序列分割方面显著优于强基线模型（例如 [13]），在蜜蜂舞蹈数据集上的实验表明，其能有效减少过度分割并更好地捕捉长期模式。
• 该模型实现了具有竞争力的预测性能，CRPS 结果在基准数据集上与 DeepAR 和 KVAE 等最先进模型相当或更优。
• 显式持续时间建模使模型能够学习持久制度，并一致地将其外推至预测时域，从而简化预测任务。
• 混合推理算法实现了高效的训练与推理，蒙特卡洛 ELBO 作为推理过程的副产品被高效计算。
• 对持续时间模型分布和状态维度（2–16）的超参数调优显著提升了各数据集上的性能，表明归纳偏置的重要性。
• 该模型在多样化时间序列上表现出鲁棒性，包括具有复杂混合切换行为的城市电力消耗和蜜蜂摆尾舞等数据。