[论文解读] Infinite Structured Hidden Semi-Markov Models

Jonathan H. Huggins, Frank Wood|arXiv (Cornell University)|Jun 30, 2014

Bayesian Methods and Mixture Models参考文献 25被引用 6

一句话总结

本文提出无限结构化隐半马尔可夫模型（ISHSMM），一种贝叶斯非参数框架，可显式建模无限隐马尔可夫模型中状态的停留时间，适用于具有结构化转移的模型（如从左到右的HMM）。该模型在状态上使用中国餐馆过程（CRP）先验，并采用伽马-伽马共轭先验进行持续时间建模，从而实现对未知切换点和持久状态持续时间的自动推断，而无需预先指定状态数量。

ABSTRACT

This paper reviews recent advances in Bayesian nonparametric techniques for constructing and performing inference in infinite hidden Markov models. We focus on variants of Bayesian nonparametric hidden Markov models that enhance a posteriori state-persistence in particular. This paper also introduces a new Bayesian nonparametric framework for generating left-to-right and other structured, explicit-duration infinite hidden Markov models that we call the infinite structured hidden semi-Markov model.

研究动机与目标

• 解决隐马尔可夫模型中状态基数未知且可能无限的挑战。
• 克服标准无限HMM在产生快速状态切换方面的局限性，通过鼓励长状态停留时间。
• 构建一个通用框架，用于构建具有结构化、显式持续时间的无限HMM，包括从左到右的HMM。
• 在不假设固定段数的前提下，实现对序列数据中切换点的非参数推断。
• 提供一种可扩展的推断算法，扩展了现有无限HMM的吉布斯采样技术。

提出的方法

• 提出无限结构化HMM（ISHSMM）作为生成模型，其在无限数量状态上使用中国餐馆过程（CRP）先验。
• 通过伽马-伽马共轭先验引入显式持续时间建模，允许对持久性进行直接控制。
• 通过将状态转移限制为非递减索引，实现结构化转移约束（如从左到右的顺序）。
• 使用吉布斯采样进行后验推断，利用共轭先验，并基于CRP和伽马-伽马层次结构推导条件分布。
• 将模型应用于合成数据和真实世界数据（包括煤矿灾难次数），实现对状态、持续时间和切换点的完整后验采样。
• 通过狄利克雷过程在发射分布上使用非参数先验，实现对观测数据的灵活建模。

实验结果

研究问题

• RQ1 能否构建一个贝叶斯非参数模型，显式建模状态停留时间，同时保持结构化转移约束？
• RQ2 如何将无限HMM扩展以支持从左到右或其他结构化转移模式，而无需固定状态数量？
• RQ3 ISHSMM在不预先假设的情况下，能在多大程度上自动推断序列数据中的正确切换点数量？
• RQ4 该模型对超参数选择（特别是持续时间率先验）的鲁棒性如何，尤其是对αd的敏感性？
• RQ5 ISHSMM在具有长且持久状态的数据分割中，是否能优于标准无限HMM？

主要发现

• ISHSMM在煤矿灾难数据集中成功推断出两个主要切换点，分别位于第40年和第100年左右，与先前研究结果一致。
• 对合成数据的后验推断显示，该模型能准确恢复真实状态均值和持续时间率，且在前四个状态周围具有高后验置信度。
• 最后一个状态持续时间率的后验分布表现出高方差，这与未观测到序列末尾持续时间的预期一致。
• 该模型对持续时间率伽马先验的超参数选择具有鲁棒性，在αd值范围（20至200）内均产生定性相似的结果。
• 通过显式持续时间建模，ISHSMM有效避免了快速状态切换，通过鼓励长停留时间，在分割质量上优于标准无限HMM。
• 该模型支持对状态数量和切换点数量的非参数推断，能够自动发现序列数据中的分段结构。