[论文解读] Learning Hidden Markov Models from Pairwise Co-occurrences with Application to Topic Modeling

Kejun Huang, Xiao Fu+1 more|arXiv (Cornell University)|Feb 19, 2018

Bayesian Methods and Mixture Models参考文献 17被引用 5

一句话总结

该论文提出了一种新颖的算法，通过从发射物的成对共现概率学习隐马尔可夫模型（HMM），绕过EM算法的计算负担。在发射稀疏性条件较弱的情况下，该方法实现了HMM的唯一识别，并通过隐主题马尔可夫模型（HTMM）在主题建模中实现改进，相比传统的词袋模型，生成的主题推断更具连贯性和一致性。

ABSTRACT

We present a new algorithm for identifying the transition and emission probabilities of a hidden Markov model (HMM) from the emitted data. Expectation-maximization becomes computationally prohibitive for long observation records, which are often required for identification. The new algorithm is particularly suitable for cases where the available sample size is large enough to accurately estimate second-order output probabilities, but not higher-order ones. We show that if one is only able to obtain a reliable estimate of the pairwise co-occurrence probabilities of the emissions, it is still possible to uniquely identify the HMM if the emission probability is \emph{sufficiently scattered}. We apply our method to hidden topic Markov modeling, and demonstrate that we can learn topics with higher quality if documents are modeled as observations of HMMs sharing the same emission (topic) probability, compared to the simple but widely used bag-of-words model.

研究动机与目标

• 解决在HMM学习中，对于长观测序列EM算法计算不可行的问题。
• 在仅能获得二阶共现统计量而非高阶矩的情况下，实现HMM的识别。
• 开发一种在发射稀疏性和转移约束条件下能唯一识别HMM参数的方法。
• 将该方法应用于主题建模，通过将文档建模为共享发射概率的HMM，提升主题连贯性。
• 证明HTMM相比pLSA或词袋模型，能生成更一致且更符合人类理解的主题分配。

提出的方法

• 该方法将HMM学习建模为非负矩阵三因子分解问题：Ω = MΘMᵀ，其中Ω为成对共现矩阵，M为发射矩阵，Θ为转移矩阵。
• 利用HMM的结构约束确保可识别性，尤其在发射概率足够分散（即一般性）且转移矩阵稀疏时。
• 通过直接从二阶统计量估计HMM参数，避免使用EM算法，将计算复杂度从O(K²T)降低为可扩展的固定规模优化问题。
• 利用三重共现概率的张量识别结果，为在一般性和稀疏性条件下保证唯一性提供理论依据。
• 在HMM参数学习完成后，使用Viterbi算法推断隐藏状态和主题分配。
• 建立了HMM可从成对共现中唯一识别的理论条件，包括K ≤ N²/16以及转移稀疏性。

实验结果

研究问题

• RQ1 能否仅从发射物的成对共现概率中唯一识别HMM？
• RQ2 在何种发射和转移分布条件下，HMM的识别可保证唯一性？
• RQ3 该方法在主题建模质量上能否优于传统EM和词袋模型？
• RQ4 所提出的方法如何提升文档级主题推断中的主题连贯性和一致性？
• RQ5 从二阶统计量中识别HMM存在哪些理论保证？

主要发现

• 当发射矩阵为一般性且转移矩阵稀疏（每行非零元素不超过N/2）时，该方法能从成对共现统计中唯一识别HMM。
• 通过利用HMM捕捉序列依赖关系，该方法在主题建模质量上优于词袋模型。
• 使用Viterbi算法进行HTMM推断，可在文档内生成更一致且更连贯的主题分配，该结论在Reuters21578数据集上得到验证。
• 理论分析表明，在一般性和稀疏性假设下，当K ≤ N²/16时，HMM可从三重共现概率中唯一识别。
• 该方法通过直接处理二阶统计量，避免了EM算法的缓慢收敛和高复杂度，从而实现对长序列的可扩展性。
• 实验结果表明，HTMM生成的主题序列比pLSA或词袋模型更符合人类理解。