[论文解读] The Hierarchical Dirichlet Process Hidden Semi-Markov Model

Matthew Johnson, Alan S. Willsky|arXiv (Cornell University)|Mar 15, 2012

Bayesian Methods and Mixture Models参考文献 8被引用 9

一句话总结

本文提出了层级狄利克雷过程隐半马尔可夫模型（HDP-HSMM），这是一种贝叶斯非参数化的HMM扩展，通过放松严格的马尔可夫性约束，实现了对显式状态持续时间的建模。通过将半马尔可夫结构与层级狄利克雷过程先验相结合，该模型能够灵活且可解释地建模可变长度的状态，利用直接赋值和弱极限近似算法实现高效的后验推断，其有效性在合成数据、说话人分割和摩尔斯电码模式学习任务中得到验证。

ABSTRACT

There is much interest in the Hierarchical Dirichlet Process Hidden Markov Model (HDP-HMM) as a natural Bayesian nonparametric extension of the traditional HMM. However, in many settings the HDP-HMM's strict Markovian constraints are undesirable, particularly if we wish to learn or encode non-geometric state durations. We can extend the HDP-HMM to capture such structure by drawing upon explicit-duration semi-Markovianity, which has been developed in the parametric setting to allow construction of highly interpretable models that admit natural prior information on state durations. In this paper we introduce the explicitduration HDP-HSMM and develop posterior sampling algorithms for efficient inference in both the direct-assignment and weak-limit approximation settings. We demonstrate the utility of the model and our inference methods on synthetic data as well as experiments on a speaker diarization problem and an example of learning the patterns in Morse code.

研究动机与目标

• 为解决HDP-HMM在建模非几何分布状态持续时间时因严格马尔可夫性约束而产生的局限性。
• 开发一种贝叶斯非参数模型，允许显式且灵活地建模状态持续时间，同时整合关于持续时间分布的先验知识。
• 通过直接赋值和弱极限近似两种方案，实现在HDP-HSMM中的高效后验推断。
• 在具有复杂时间结构的真实序列数据（如说话人分割和摩尔斯电码序列）上展示该模型的实用性。

提出的方法

• 通过引入半马尔可夫状态持续时间模型，扩展HDP-HMM，使状态能够具有任意且由数据驱动的持续时间。
• 在状态持续时间分布上使用层级狄利克雷过程先验，实现对状态数量及其持续时间的非参数推断。
• 开发一种直接赋值推断算法，利用截断的棒折过程显式建模状态持续时间。
• 提出一种弱极限近似方法，通过利用棒折过程的渐近性质，提升计算效率。
• 使用吉布斯采样和切片采样技术，对潜在状态序列和持续时间参数进行后验推断。
• 通过在持续时间分布上使用共轭先验，整合关于持续时间的先验信息，增强模型的可解释性与灵活性。

实验结果

研究问题

• RQ1 贝叶斯非参数模型能否在不假设几何分布持续时间的前提下，有效捕捉可变长度的状态持续时间？
• RQ2 当显式建模状态持续时间且状态非马尔可夫时，如何高效推断HDP-HSMM？
• RQ3 HDP-HSMM在建模具有非几何分布持续时间的序列数据时，是否优于HDP-HMM？
• RQ4 该模型能否从真实序列（如语音和摩尔斯电码）中学习到可解释且由数据驱动的状态持续时间？
• RQ5 在HDP-HSMM中，直接赋值与弱极限近似推断之间的计算权衡是什么？

主要发现

• HDP-HSMM成功建模了非几何分布的持续时间，使具有可变长度模式的序列数据能够得到更准确的表示。
• 直接赋值推断算法在合成数据上提供了对状态持续时间和转移动态的准确后验估计。
• 弱极限近似方法在显著降低计算成本的同时，实现了与直接赋值方法相当的性能。
• 在说话人分割任务中，HDP-HSMM通过更准确地捕捉说话人话语段长度并减少虚假分割，优于HDP-HMM。
• 在摩尔斯电码学习任务中，模型正确推断出dit-dah模式的潜在结构，并学习到与已知摩尔斯电码元素一致的可解释状态持续时间。
• 该模型对模型误设具有鲁棒性，并能适应多样化的序列数据结构，而无需预设状态数量或持续时间分布。