[论文解读] Discovering shared and individual latent structure in multiple time series

Suchi Saria, Daphne Koller+1 more|arXiv (Cornell University)|Aug 12, 2010

Bayesian Methods and Mixture Models参考文献 23被引用 12

一句话总结

该论文提出了一种非参数贝叶斯时间序列主题模型（TSTM），通过将潜在狄利克雷分配（LDA）扩展至学习动态模式（主题）和词边界，以无监督方式在多个连续时间序列中发现共享和个体化的潜在结构。该方法将每个时间序列建模为在潜在主题之间切换，其中每个主题对应于从傅里叶变换系数导出的动态特征（“词”）的分布；TSTM在监督任务中实现了72.74%的平均排名性能，优于基于FFT的特征，并在特征实用性方面优于BP-AR-HMM。

ABSTRACT

This paper proposes a nonparametric Bayesian method for exploratory data analysis and feature construction in continuous time series. Our method focuses on understanding shared features in a set of time series that exhibit significant individual variability. Our method builds on the framework of latent Diricihlet allocation (LDA) and its extension to hierarchical Dirichlet processes, which allows us to characterize each series as switching between latent ``topics'', where each topic is characterized as a distribution over ``words'' that specify the series dynamics. However, unlike standard applications of LDA, we discover the words as we learn the model. We apply this model to the task of tracking the physiological signals of premature infants; our model obtains clinically significant insights as well as useful features for supervised learning tasks.

研究动机与目标

• 对具有显著个体差异的时间序列数据进行建模，同时发现群体水平的动态模式。
• 通过直接从数据中学习动态特征（“词”）来解决传统时间序列模型中固定离散化的局限性。
• 将主题建模框架扩展至连续值时间序列，以实现对共享和个体化潜在结构的发现。
• 为临床时间序列分析中的下游监督学习任务提供一种灵活的无监督特征表示。

提出的方法

• 将层次狄利克雷过程和LDA扩展，以将时间序列建模为在潜在主题之间切换，每个主题定义动态特征上的分布。
• 将每个时间序列表示为主题混合，其中主题比例反映了每种动态模式的表达程度。
• 使用块吉布斯采样对主题分配、词分布和主题比例进行全贝叶斯推断。
• 将“词”定义为动态函数（如傅里叶系数）的参数化形式，以捕捉在可变长度区间内的局部时间序列行为。
• 应用傅里叶变换提取基于频率的特征，作为学习词分布的基础。
• 在30%的数据上执行无监督主题推断以学习主题-词分布，然后使用固定参数推断受试者的特定主题比例。

实验结果

研究问题

• RQ1 非参数贝叶斯模型是否能在不预定义特征的情况下，从多个连续时间序列中发现共享和个体化的潜在动态模式？
• RQ2 与BP-AR-HMM等现有模型相比，TSTM框架在捕捉群体水平和个体特异性动态方面表现如何？
• RQ3 由TSTM推断出的主题分布在临床时间序列数据的监督学习任务中作为有效特征的程度如何？
• RQ4 该模型是否能够揭示早产儿生理信号中与健康状况或并发症相关的临床有意义模式？

主要发现

• TSTM在使用主题比例作为特征的监督排名任务中实现了72.74%的平均排名性能，显著优于基于FFT的特征（63.5%）。
• 使用TSTM推断特征的SVM分类器在区分健康与非健康早产儿方面达到了80%的准确率，而使用BP-AR-HMM特征的准确率为70%。
• TSTM成功识别出在早产儿亚群中与肺部疾病或呼吸窘迫相关的共享动态模式。
• 该模型捕捉到了与感染和死亡风险相关的临床相关动态，验证了已知的生理关联。
• BP-AR-HMM倾向于生成大量与序列相关的特征，导致数据碎片化，从而在小样本数据集上降低性能，而TSTM的共享主题框架提升了泛化能力。
• TSTM的无监督特征学习提供了一种稳健的替代方案，优于手工设计的特征（如FFT），在下游预测任务中具有更高的特征实用性。