[论文解读] Learning Disentangled Representations for Time Series

Yuening Li, Zhengzhang Chen+5 more|arXiv (Cornell University)|May 17, 2021

Time Series Analysis and Forecasting参考文献 40被引用 6

一句话总结

该论文提出DTS，一种新颖的时间序列表征学习解耦框架，通过分离个体潜在因子和群体级语义片段实现多层次解耦。通过引入带有互信息最大化和增强正则化的ELBO分解，DTS缓解了KL退化问题，学习到高度可解释、语义有意义的表征，在下游任务中表现优于现有方法，同时支持对序列模式的直观操作。

ABSTRACT

Time-series representation learning is a fundamental task for time-series analysis. While significant progress has been made to achieve accurate representations for downstream applications, the learned representations often lack interpretability and do not expose semantic meanings. Different from previous efforts on the entangled feature space, we aim to extract the semantic-rich temporal correlations in the latent interpretable factorized representation of the data. Motivated by the success of disentangled representation learning in computer vision, we study the possibility of learning semantic-rich time-series representations, which remains unexplored due to three main challenges: 1) sequential data structure introduces complex temporal correlations and makes the latent representations hard to interpret, 2) sequential models suffer from KL vanishing problem, and 3) interpretable semantic concepts for time-series often rely on multiple factors instead of individuals. To bridge the gap, we propose Disentangle Time Series (DTS), a novel disentanglement enhancement framework for sequential data. Specifically, to generate hierarchical semantic concepts as the interpretable and disentangled representation of time-series, DTS introduces multi-level disentanglement strategies by covering both individual latent factors and group semantic segments. We further theoretically show how to alleviate the KL vanishing problem: DTS introduces a mutual information maximization term, while preserving a heavier penalty on the total correlation and the dimension-wise KL to keep the disentanglement property. Experimental results on various real-world benchmark datasets demonstrate that the representations learned by DTS achieve superior performance in downstream applications, with high interpretability of semantic concepts.

研究动机与目标

• 为解决现有时间序列表征学习方法在医疗等高风险领域中可解释性不足的问题。
• 克服在序列数据中学习解耦表征的挑战，包括复杂的时序相关性及KL退化问题。
• 实现个体因子解耦与群体级语义片段解耦，以支持分层可解释表征。
• 设计一种训练目标，通过缓解KL退化问题，平衡重建保真度、解耦性与正确推理。
• 证明可无监督地学习解耦表征，并获得语义有意义、可操作的特征。

提出的方法

• DTS采用多层次解耦策略，在潜在空间中分离个体潜在因子与群体级语义片段。
• 引入证据下界（ELBO）分解，以平衡重建损失、解耦正则化与推理准确性。
• 为缓解KL退化问题，DTS引入互信息最大化项，同时对总相关性和维度级KL散度施加更重的惩罚。
• 模型采用变分自编码器架构，结合LSTM-based推理与生成网络，以建模时序依赖性。
• 通过潜在变量遍历与T-SNE可视化，定性评估所学因子的可解释性与解耦性。
• 该框架支持领域不变与类别不变的解耦，实现跨领域与类别下的鲁棒表征学习。

实验结果

研究问题

• RQ1 尽管存在复杂的时序相关性，是否能有效学习时间序列数据的解耦表征？
• RQ2 如何在保持解耦性的同时缓解序列VAE中的KL退化问题？
• RQ3 能否同时实现个体潜在因子与群体级语义片段的解耦，以支持分层可解释性？
• RQ4 所学表征在多大程度上支持对序列模式的直观操作？
• RQ5 解耦表征是否能提升下游任务（如分类与聚类）的性能？

主要发现

• DTS成功学习到可解耦表征，支持对序列模式（如心电图波形变化）的连续、可解释操作。
• 潜在变量遍历结果表明，各独立潜在变量控制不同的正交序列趋势，且在[-4, 4]范围内呈现平滑过渡。
• T-SNE可视化证实，与领域相关的特征与与类别相关的特征更具可区分性，而领域无关与类别无关的特征则难以区分，验证了有效的解耦。
• 模型在目标领域实现了强聚类效果，表明语义相似的时间序列在解耦空间中被映射得更接近。
• DTS在下游任务中优于基线方法，展现出卓越的性能与所学语义概念的高可解释性。
• 引入互信息最大化有效缓解了KL退化问题，且未损害解耦性。