[论文解读] Mixed Membership Models for Time Series

Emily B. Fox, Michael I. Jordan|arXiv (Cornell University)|Sep 13, 2013

Bayesian Methods and Mixture Models参考文献 30被引用 3

一句话总结

本文提出了用于时间序列集合的贝叶斯非参数混合成员模型，将每个时间序列视为对共享动态状态库（如行为或状态）的部分成员。提出了两种框架——狄利克雷-多项分布和贝塔-伯努利，实现了在多个时间序列间灵活、稀疏且共享的学习，关键贡献在于建模结构变化和状态重叠，而无需预先指定状态数量。

ABSTRACT

In this article we discuss some of the consequences of the mixed membership perspective on time series analysis. In its most abstract form, a mixed membership model aims to associate an individual entity with some set of attributes based on a collection of observed data. Although much of the literature on mixed membership models considers the setting in which exchangeable collections of data are associated with each member of a set of entities, it is equally natural to consider problems in which an entire time series is viewed as an entity and the goal is to characterize the time series in terms of a set of underlying dynamic attributes or "dynamic regimes". Indeed, this perspective is already present in the classical hidden Markov model, where the dynamic regimes are referred to as "states", and the collection of states realized in a sample path of the underlying process can be viewed as a mixed membership characterization of the observed time series. Our goal here is to review some of the richer modeling possibilities for time series that are provided by recent developments in the mixed membership framework.

研究动机与目标

• 通过混合成员模型的视角重新构想时间序列分析，将每个时间序列视为对共享动态状态集合的部分成员。
• 解决在多个时间序列中建模重叠动态行为的挑战，同时避免预先指定状态数量。
• 通过在层次先验下实现时间序列间的知识共享，扩展传统隐马尔可夫模型和切换状态空间模型。
• 开发非参数框架，允许动态状态数量无界，根据数据复杂度自适应调整，无需模型选择。
• 通过贝塔-伯努利公式实现状态存在性与状态普遍性的解耦，支持稀疏且可解释的成员结构。

提出的方法

• 将主题模型中的狄利克雷-多项分布框架适配至时间序列，对所有时间序列共享过渡和发射参数的全局先验分布。
• 提出贝塔-伯努利框架，其中每个时间序列独立地从全局状态库中选择一个动态状态子集，随后生成其状态序列。
• 采用贝叶斯非参数先验（如狄利克雷过程），允许潜在动态状态数量无限，实际数量由数据决定。
• 以马尔可夫切换过程为核心机制，其中状态转移遵循离散时间马尔可夫过程，且具有时间序列特定的转移分布。
• 应用动态规划技术（如 Fearnhead, 2006 所述）高效探索多变量时间序列依赖结构中的变化点。
• 在自回归模型中引入时变混合权重，以支持非平稳过程，通过狄利克雷过程混合或基于过去观测的核权重选择各分量。

实验结果

研究问题

• RQ1 如何将混合成员模型适配至时间序列数据，以实现在多个时间序列间部分、共享且动态的状态成员关系？
• RQ2 在非参数贝叶斯框架下，对时间序列中动态状态数量的建模不预先指定其数量，会产生何种影响？
• RQ3 贝塔-伯努利框架如何改善时间序列成员关系的稀疏性，并实现状态存在性与普遍性的解耦？
• RQ4 对过渡和发射参数的层次先验如何实现多个时间序列间的信息共享？
• RQ5 如何通过产品划分模型和动态规划在多变量时间序列中增强变化点检测与结构断裂建模？

主要发现

• 所提出的非参数混合成员模型允许动态状态数量无界，实际数量由数据学习得出，而非预先指定。
• 贝塔-伯努利框架支持稀疏的时间序列成员关系，即每个时间序列仅使用全局状态库中的一小部分，支持可解释且高效的建模。
• 狄利克雷-多项分布方法通过全局先验分布池化过渡和发射参数，实现时间序列间的信息共享。
• 实证结果表明，该模型能有效发现多个个体间共享的动态行为（如运动数据中的运动类型），即使其日常活动存在部分重叠。
• 动态规划技术的整合使得在多变量时间序列中实现高效的变化点检测，尤其在依赖结构随时间演变时表现更优。
• 在捕捉多个时间序列间重叠且异质的动态状态方面，该模型优于经典HMM和固定状态模型，尤其在高维或稀疏场景下表现更优。