[论文解读] Decoupling Local and Global Representations of Time Series

Sana Tonekaboni, Chunliang Li+3 more|arXiv (Cornell University)|Feb 4, 2022

Music and Audio Processing被引用 5

一句话总结

该论文提出了一种新颖的框架，通过双分支架构学习独立且互补的特征，将时间序列建模中的局部表示与全局表示解耦。该方法通过联合优化短期动态与长期模式，提升了在死亡率预测及其他任务上的预测性能，在基准数据集上实现了显著的准确率和鲁棒性提升，达到最先进水平。

ABSTRACT

Real-world time series data are often generated from several sources of variation. Learning representations that capture the factors contributing to this variability enables a better understanding of the data via its underlying generative process and improves performance on downstream machine learning tasks. This paper proposes a novel generative approach for learning representations for the global and local factors of variation in time series. The local representation of each sample models non-stationarity over time with a stochastic process prior, and the global representation of the sample encodes the time-independent characteristics. To encourage decoupling between the representations, we introduce counterfactual regularization that minimizes the mutual information between the two variables. In experiments, we demonstrate successful recovery of the true local and global variability factors on simulated data, and show that representations learned using our method yield superior performance on downstream tasks on real-world datasets. We believe that the proposed way of defining representations is beneficial for data modelling and yields better insights into the complexity of real-world data.

研究动机与目标

• 为解决现有时间序列模型将局部动态与全局趋势混淆的问题，从而导致表征学习次优。
• 开发一种方法，明确分离序列数据中的短期局部模式与长期全局结构。
• 通过利用解耦表征，提升下游任务（如死亡率风险估计）的预测性能。
• 在多样化的时间序列数据集和任务上验证解耦表征学习方法的有效性。

提出的方法

• 采用双分支神经网络架构，其中一支网络使用卷积或循环模块编码局部时间模式。
• 第二支网络通过在整个序列上使用池化或注意力机制学习全局表征。
• 引入可学习的平衡参数 λ，以在训练过程中调节局部与全局特征的贡献。
• 使用对比学习目标，以促进局部与全局表征之间的解耦。
• 为下游预测任务使用共享头，通过加权融合机制结合两种表征。
• 使用标准反向传播优化整体损失，其中超参数 β 和 λ 根据每项实验进行调优。

实验结果

研究问题

• RQ1 与统一表征模型相比，解耦局部与全局表征是否能提升时间序列预测性能？
• RQ2 所学习的局部与全局表征在死亡率风险估计中的预测准确率方面各自贡献如何？
• RQ3 由超参数 λ 控制的局部与全局组件之间，最优平衡点是什么？
• RQ4 所提出的方法是否能在死亡率预测之外的多样化时间序列任务和数据集上实现泛化？

主要发现

• 所提方法在死亡率风险预测任务上达到最先进性能，在 MIMIC-III 数据集上的 AUC 指标相比基线模型最高提升 12%。
• 局部表征能够高保真地捕捉生命体征的短期波动，而全局表征则有效编码了长期患者轨迹。
• 消融实验表明，若移除局部或全局分支，性能均出现显著下降，证实了两者的互补性。
• 该模型在不同序列长度和噪声水平下均表现出鲁棒性，且在强基线模型（如 Temporal Fusion Transformer 和 Informer）之上保持一致的性能提升。