[论文解读] A Linear-Time Particle Gibbs Sampler for Infinite Hidden Markov Models

Nilesh Tripuraneni, Shane Gu+2 more|arXiv (Cornell University)|May 3, 2015

Bayesian Methods and Mixture Models参考文献 10被引用 3

一句话总结

本文提出了一种针对无限隐马尔可夫模型（iHMMs）的线性时间粒子吉布斯采样器，该方法采用优化的重要性提议和祖先采样，以高效重采样潜在状态轨迹。该方法实现了更快的收敛速度和线性时间复杂度 O(TNK)，在合成数据和真实世界数据上优于二次时间复杂度的竞争对手。

ABSTRACT

Infinite Hidden Markov Models (iHMM's) are an attractive, nonparametric generalization of the classical Hidden Markov Model which can automatically infer the number of hidden states in the system. However, due to the infinite-dimensional nature of transition dynamics performing inference in the iHMM is difficult. In this paper, we present an infinite-state Particle Gibbs (PG) algorithm to resample state trajectories for the iHMM. The proposed algorithm uses an efficient proposal optimized for iHMMs and leverages ancestor sampling to suppress degeneracy of the standard PG algorithm. Our algorithm demonstrates significant convergence improvements on synthetic and real world data sets. Additionally, the infinite-state PG algorithm has linear-time complexity in the number of states in the sampler, while competing methods scale quadratically.

研究动机与目标

• 为解决由于高维转移动态导致的无限状态隐马尔可夫模型中推理效率低下的问题。
• 开发一种可扩展的 MCMC 推理方法，避免现有束采样和吉布斯采样方法的二次时间复杂度。
• 通过基于粒子的方法结合祖先采样，提升 iHMM 中的混合效率和收敛速度。
• 实现粘性 iHMM 中精确推理，该问题在先前工作中存在空白，尤其针对非参数发射模型。
• 在活跃状态数量上实现线性时间复杂度 O(TNK)，从而实现对更长序列的可扩展性。

提出的方法

• 提出一种基于层次狄利克雷过程（HDP）的 stick-breaking 构造的无限状态粒子吉布斯（PG）算法，用于 iHMMs。
• 设计一种最优重要性提议，用于重采样潜在状态轨迹，从而提升采样效率。
• 引入祖先采样以抑制粒子退化，增强混合效果和收敛性能。
• 通过辅助切片变量利用动态规划联合重采样轨迹，避免标准 PG 中的混合不良问题。
• 利用共轭先验和条件共轭性，实现对发射参数 φ、转移矩阵 π 以及超参数 α、γ 的高效重采样。
• 采用无限状态空间的截断表示，动态调整至活跃状态数 K，确保时间复杂度为 O(TNK)。

实验结果

研究问题

• RQ1 能否设计一种针对 iHMMs 的粒子吉布斯采样器，使其在活跃状态数量上实现线性时间复杂度？
• RQ2 使用优化的重要性提议和祖先采样是否能显著改善 iHMM 推理中的混合和收敛性能？
• RQ3 所提方法是否能实现粘性 iHMM 中的精确推理，尤其在非参数发射模型下，而此前方法未能解决此问题？
• RQ4 在合成数据和真实世界数据上，所提 PG 采样器与束采样和标准吉布斯采样器相比，在收敛速度和可扩展性方面表现如何？
• RQ5 所提方法的计算复杂度是多少？其是否随序列长度和活跃状态数量的增加而表现出有利的可扩展性？

主要发现

• 所提的无限状态粒子吉布斯采样器实现了线性时间复杂度 O(TNK)，优于束采样等二次时间复杂度方法。
• 实验结果表明，与现有推理算法相比，该方法在合成数据和真实世界数据集上均表现出显著的收敛性能提升。
• 使用优化的重要性提议和祖先采样能有效抑制粒子退化，实现更快的混合速度和更优的后验分布探索。
• 该方法实现了粘性 iHMM 中非参数 DP 发射模型的精确推理，解决了此前未解决的问题。
• 在真实世界语音说话人分离任务中，该方法实现了最先进性能，优于截断且有偏的采样器。
• 该算法在长序列上仍保持高效率，得益于其线性时间设计，展现出强大的可扩展性。