[论文解读] Bayesian Nonparametric Hidden Semi-Markov Models

Matthew Johnson, Alan S. Willsky|arXiv (Cornell University)|Mar 7, 2012

Military Defense Systems Analysis被引用 62

一句话总结

本文提出贝叶斯非参数隐半马尔可夫模型（HDP-HSMM），作为HDP-HMM的灵活非参数扩展，通过半马尔可夫过程显式建模状态持续时间。通过将层次狄利克雷过程与显式持续时间建模相结合，HDP-HSMM能够自动推断状态复杂度与持续时间分布，并采用高效的吉布斯采样算法，显著提升混合效率与可扩展性——在合成数据与真实世界电能分解数据上均表现出优越性能。

ABSTRACT

There is much interest in the Hierarchical Dirichlet Process Hidden Markov Model (HDP-HMM) as a natural Bayesian nonparametric extension of the ubiquitous Hidden Markov Model for learning from sequential and time-series data. However, in many settings the HDP-HMM's strict Markovian constraints are undesirable, particularly if we wish to learn or encode non-geometric state durations. We can extend the HDP-HMM to capture such structure by drawing upon explicit-duration semi-Markovianity, which has been developed mainly in the parametric frequentist setting, to allow construction of highly interpretable models that admit natural prior information on state durations. In this paper we introduce the explicit-duration Hierarchical Dirichlet Process Hidden semi-Markov Model (HDP-HSMM) and develop sampling algorithms for efficient posterior inference. The methods we introduce also provide new methods for sampling inference in the finite Bayesian HSMM. Our modular Gibbs sampling methods can be embedded in samplers for larger hierarchical Bayesian models, adding semi-Markov chain modeling as another tool in the Bayesian inference toolbox. We demonstrate the utility of the HDP-HSMM and our inference methods on both synthetic and real experiments.

研究动机与目标

• 解决HDP-HMM因严格马尔可夫约束而在建模非几何分布持续时间时的局限性。
• 在结合状态持续时间先验知识的同时，实现状态复杂度的贝叶斯非参数推断。
• 开发高效的采样算法以实现半马尔可夫模型的后验推断，提升混合效率与计算速度。
• 将现有HDP-HMM的推断技术扩展至半马尔可夫设置，支持模块化集成到更复杂的层次模型中。
• 在合成数据与真实世界电能信号分解任务中验证模型的有效性，其中持续时间结构至关重要。

提出的方法

• 通过将层次狄利克雷过程（HDP）先验与显式持续时间的半马尔可夫建模相结合，提出HDP-HSMM，以支持灵活的、非几何分布的持续时间。
• 开发两种吉布斯采样算法：弱极限采样器与直接分配采样器，源自HDP-HMM方法并适配于HSMMs。
• 通过一阶差分实现变化点检测，以减少候选状态数量，使状态序列重采样速度提升数量级。
• 采用块吉布斯采样，以模块化方式联合重采样状态序列、发射参数、转移概率与持续时间参数。
• 利用共轭先验与条件分布，实现对所有模型参数的高效全条件更新。
• 将模型应用于电能分解中的因子式状态空间，支持对多个设备的联合推断，其功率模式数量与持续时间模式未知。

实验结果

研究问题

• RQ1 贝叶斯非参数模型能否有效从序列数据中同时学习隐藏状态的数量及其持续时间分布？
• RQ2 如何将显式持续时间的半马尔可夫建模与HDP先验结合，以支持灵活且可解释的持续时间先验，同时保持非参数复杂度？
• RQ3 所提出的HDP-HSMM吉布斯采样算法是否在混合效率与可扩展性方面显著优于现有HDP-HMM采样器？
• RQ4 在具有非马尔可夫持续时间结构的真实世界序列数据任务中，HDP-HSMM能否优于HDP-HMM与参数化模型？
• RQ5 在电能信号分解等应用中，引入持续时间分布的先验知识在多大程度上能提升性能？

主要发现

• HDP-HSMM在由HMM与HSMM生成的合成数据中，能准确学习状态数量及其持续时间分布，混合速度快，且能正确恢复状态基数。
• 在电能信号分解任务中，HDP-HSMM显著优于HDP-HMM，在四栋房屋中实现81.5%的中位数准确率，而HDP-HMM仅为67.2%。
• 在房屋1中，HDP-HSMM达到82.1%的准确率，而因子式粘滞HDP-HMM仅为69.0%，证明显式持续时间建模的优势。
• 采用基于变化点的加速机制后，推理时间降低至每200个变化点序列仅0.1秒，实现实际可扩展性。
• HDP-HSMM成功捕捉了照明模式中的持续时间规律，其中状态数量在先验中高度不确定，优于固定参数模型。
• 可视化对比（图18–19）表明，当持续时间模式为非马尔可夫时，HDP-HSMM能更优地重建总电能消耗，尤其在具有长而稳定电能模式的序列中。