[论文解读] A Spectral Algorithm for Inference in Hidden Semi-Markov Models

Igor Melnyk, Arindam Banerjee|arXiv (Cornell University)|Jul 12, 2014

Bayesian Methods and Mixture Models参考文献 38被引用 7

一句话总结

本文提出了一种新颖的谱算法，用于隐半马尔可夫模型（HSMMs）中的推理，该方法绕过基于EM的参数估计，转而使用低阶样本矩的张量分解来计算观测序列的概率。该方法在计算效率方面具有保证的一致性，仅需固定数量的矩阵运算，且与序列长度无关，同时在最大状态持续时间上呈对数尺度增长。

ABSTRACT

Hidden semi-Markov models (HSMMs) are latent variable models which allow latent state persistence and can be viewed as a generalization of the popular hidden Markov models (HMMs). In this paper, we introduce a novel spectral algorithm to perform inference in HSMMs. Unlike expectation maximization (EM), our approach correctly estimates the probability of given observation sequence based on a set of training sequences. Our approach is based on estimating moments from the sample, whose number of dimensions depends only logarithmically on the maximum length of the hidden state persistence. Moreover, the algorithm requires only a few matrix inversions and is therefore computationally efficient. Empirical evaluations on synthetic and real data demonstrate the advantage of the algorithm over EM in terms of speed and accuracy, especially for large datasets.

研究动机与目标

• 为解决基于EM的HSMM学习方法存在的局限性，包括收敛缓慢和缺乏一致性保证。
• 开发一种计算高效、可证明一致的HSMM推理方法，无需显式参数估计。
• 降低HSMM推理中样本矩的维度，确保在潜在状态持续长度上的可扩展性。
• 仅使用样本矩直接对可观测序列进行推理，避免依赖模型参数。
• 通过利用HSMM的结构同质性，将谱推理框架扩展至HSMM，以提升效率。

提出的方法

• 该方法使用张量代数表述HSMM推理，将观测序列的概率表示为从样本矩导出的张量乘积。
• 它利用二阶和三阶样本矩构建可观测分布的表示，避免显式参数估计。
• 该算法使用张量收缩和矩阵求逆来提取序列的概率，其运算次数与序列长度无关。
• 它引入恒等张量和逆张量，将模型转换为可直接从数据中估计的形式，从而确保一致性。
• 该方法利用HSMM的同质性，减少所需矩阵运算的数量，并确保张量维度对最大状态持续时间呈对数依赖。
• 该方法通过批量或逐序列的矩估计直接从数据中估计可观测表示，随后通过边际化计算序列概率。

实验结果

研究问题

• RQ1 谱方法能否被调整以在不依赖基于EM的参数估计的情况下执行HSMM中的推理？
• RQ2 如何在保持精度的同时最小化HSMM中谱推理的计算复杂度？
• RQ3 HSMM中张量维度对最大潜在状态持续时间的依赖关系如何？
• RQ4 能否开发一种一致且高效的推理算法，避免EM方法存在的局部最优和收敛缓慢问题？
• RQ5 在合成和真实世界的HSMM推理任务中，谱方法在速度和精度方面相比EM方法的优越程度如何？

主要发现

• 随着训练样本数量的增加，该谱算法在推理精度上与EM相当或更优，表现出在大数据集上的一致性能提升。
• 该方法在合成和真实世界数据集上比EM快几个数量级，在大规模场景中表现出显著的速度优势。
• 样本矩张量的维度仅与最大状态持续时间呈对数依赖，从而可扩展至长时间状态。
• 该算法仅需固定数量的矩阵求逆和乘法运算，与序列长度无关，确保计算效率。
• 该方法直接从数据中使用样本矩估计可观测分布，无需恢复模型参数。
• 实证结果证实，谱方法对初始化更具鲁棒性，并避免了EM方法中常见的局部极小值问题。