[论文解读] Joint Modeling of Multiple Related Time Series via the Beta Process

Emily B. Fox, Erik B. Sudderth+2 more|arXiv (Cornell University)|Nov 17, 2011

Time Series Analysis and Forecasting参考文献 40被引用 19

一句话总结

本文提出一种基于β过程的贝叶斯非参数模型，通过发现共享的潜在动力学行为，联合建模多个相关的时间序列。该方法利用印度餐厅过程实现高效推断，无需预先指定行为数量即可自动发现时间序列之间的共享特征，并在合成数据和动作捕捉数据上表现出色。

ABSTRACT

We propose a Bayesian nonparametric approach to the problem of jointly modeling multiple related time series. Our approach is based on the discovery of a set of latent, shared dynamical behaviors. Using a beta process prior, the size of the set and the sharing pattern are both inferred from data. We develop efficient Markov chain Monte Carlo methods based on the Indian buffet process representation of the predictive distribution of the beta process, without relying on a truncated model. In particular, our approach uses the sum-product algorithm to efficiently compute Metropolis-Hastings acceptance probabilities, and explores new dynamical behaviors via birth and death proposals. We examine the benefits of our proposed feature-based model on several synthetic datasets, and also demonstrate promising results on unsupervised segmentation of visual motion capture data.

研究动机与目标

• 解决多个具有复杂切换动态的关联时间序列联合建模问题，这些动态难以被标准线性模型捕捉。
• 在不预先定义行为数量的前提下，自动发现多个时间序列之间共享的潜在动力学行为库。
• 通过允许无限潜在行为的非参数先验，促进行为在时间序列间的稀疏性与共享。
• 开发一种可扩展的MCMC推断方法，通过利用β过程的预测分布（即印度餐厅过程）避免截断。
• 在合成数据和真实世界视觉动作捕捉数据上，验证该方法在无监督分割人类运动模式方面的有效性。

提出的方法

• 使用基于特征的方法建模多个时间序列，其中每个时间序列通过β过程先验从无限潜在动力学行为库中选择子集。
• 使用印度餐厅过程（IBP）作为β过程的预测分布，表示时间序列的特征分配，实现无需截断的非参数推断。
• 通过使用和积算法实现高效的MCMC采样，以计算特征和状态更新的梅特罗波利斯-汉斯金接受概率。
• 引入出生与死亡提议，动态探索新增或移除共享库中的现有行为，提议基于泊松分布以控制特征数量的变化。
• 对隐藏状态和动态参数执行分块吉布斯采样，通过辅助变量采样处理转移矩阵和协方差参数。
• 对β过程随机测度进行积分，以边际化无限维特征空间，从而得到一个有限且数据自适应的模型，且多个时间序列共享参数。

实验结果

研究问题

• RQ1 如何通过贝叶斯非参数模型在不预先定义行为数量的前提下，联合学习多个相关时间序列之间的共享动力学行为？
• RQ2 β过程在促进时间序列间潜在动力学特征的稀疏性与共享方面起到什么作用？
• RQ3 如何在不截断的情况下，对无限维特征空间执行高效的MCMC推断？
• RQ4 该模型能否有效发现并分割视觉动作捕捉数据中的不同运动模式，利用共享的动力学行为？
• RQ5 与参数化模型相比，该方法在合成数据和真实数据上的特征发现与分割准确性如何？

主要发现

• 在合成数据集中，该模型成功发现多个时间序列之间的共享动力学行为，并准确恢复了底层行为的真实数量。
• 在视觉动作捕捉数据上，该模型实现了对跳跃运动、触脚动作、扭转动作等不同运动类型的高效无监督分割，展现出实际应用价值。
• 使用印度餐厅过程使推断高效且无需截断，使模型能够自适应地从数据中确定活跃行为的数量。
• 和积算法显著提高了计算效率，特别是在计算特征更新的梅特罗波利斯接受率方面。
• 特征的出生与死亡移动在探索模型空间方面表现有效，且对特征数量采用泊松先验有助于稳定探索过程。
• 与固定维数模型相比，该方法在捕捉时间序列间共享与独特行为方面表现更优，尤其在行为库存在部分重叠的场景下优势明显。