[论文解读] Entropy Semiring Forward-backward Algorithm for HMM Entropy Computation

Velimir M. Ilić|arXiv (Cornell University)|Aug 1, 2011

Blind Source Separation Techniques参考文献 11被引用 3

一句话总结

本文提出熵半环前向-后向（ESRFB）算法，一种基于熵半环上的前向-后向递推的内存高效方法，用于计算HMM熵及子序列约束熵。该方法在保持与先前方法相同的时间复杂度的同时，降低了内存使用量，可实现状态序列熵的O(N)内存计算，与Hernando等人提出的算法一致；同时，其子序列约束熵的内存使用量低于Mann和MacCallum的方法。

ABSTRACT

The paper presents Entropy Semiring Forwardbackward algorithm (ESRFB) and its application for memory efficient computation of the subsequence constrained entropy and state sequence entropy of a Hidden Markov Model (HMM) when an observation sequence is given. ESRFB is based on forward-backward recursion over the entropy semiring, having the lower memory requirement than the algorithm developed by Mann and MacCallum, with the same time complexity. Furthermore, when it is used with forward pass only, it is applicable for the computation of HMM entropy for a given observation sequence, with the same time and memory complexity as the previously developed algorithm by Hernando et al

研究动机与目标

• 开发一种内存高效的算法，用于在给定观测序列的情况下计算HMM熵及子序列约束熵。
• 解决现有算法内存需求过高的问题，特别是Mann和MacCallum针对子序列约束熵的方法，其内存需求为O(NT)。
• 在统一框架下实现状态序列熵与子序列约束熵的联合计算。
• 证明Hernando等人提出的算法可作为所提出的ESRFB框架的推导结果。

提出的方法

• ESRFB算法在熵半环上执行前向-后向递推，每个时间步使用两个状态变量：α(z)(i) 表示归一化概率，α(h)(i) 表示熵加权概率。
• 在每一步计算归一化常数ct，以保持数值稳定性并实现内存效率。
• 前向传播通过使用由归一化常数缩放的转移概率和发射概率，递归计算α(z)(i) 和 α(h)(i)。
• 后向传播以相反顺序执行，利用相同的半环结构将熵加权概率向后传播。
• 该算法将计算分离为完整的前向递推（用于熵计算）和仅前向z部分递推（用于子序列约束熵计算），从而实现内存复用。
• 终止阶段通过前向与后向概率的乘积以及中间状态的熵贡献，计算子序列约束熵。

实验结果

研究问题

• RQ1 能否设计一种单一算法，以减少内存使用量，高效计算HMM状态序列熵与子序列约束熵？
• RQ2 熵半环框架是否可用于推导如Hernando等人提出的现有内存高效算法？
• RQ3 ESRFB算法是否在时间复杂度与Mann和MacCallum的方法保持一致的同时，对子序列约束熵的计算使用更少内存？
• RQ4 Hernando等人算法的递推方程能否从ESRFB框架中形式化推导得出？

主要发现

• ESRFB算法在子序列约束熵计算中的时间复杂度与Mann和MacCallum的方法相同，为O(N²T + N(r−l))。
• ESRFB的内存复杂度为O(T−l + N(r−l))，低于Mann和MacCallum方法所需的O(NT)内存。
• 当仅使用前向传播时，ESRFB以O(N)内存和O(N²T)时间计算状态序列熵，其时间与空间复杂度与Hernando等人算法完全一致。
• Hernando等人算法的递推方程被正式推导为ESRFB框架的一个特例，验证了其一致性。
• 通过归一化常数ct，该算法保持了数值稳定性，确保在长序列上计算的鲁棒性。
• ESRFB框架通过单一基于半环的形式化体系，统一了熵与子序列约束熵的计算，实现了高效且可扩展的计算。