[论文解读] Estimate exponential memory decay in Hidden Markov Model and its applications

Felix X.-F. Ye, Yi-An Ma+1 more|arXiv (Cornell University)|Oct 17, 2017

Markov Chains and Monte Carlo Methods参考文献 40被引用 5

一句话总结

本文提出了一种高效算法，通过随机矩阵积的前两个 Lyapunov 指数之间的差距，估计隐马尔可夫模型（HMM）中的指数记忆衰减率。利用该衰减率，该方法实现了具有可控误差的子序列推理，显著降低了长序列 HMM 的计算成本，同时保持了准确性和可扩展性，适用于随机优化。

ABSTRACT

Inference in hidden Markov model has been challenging in terms of scalability due to dependencies in the observation data. In this paper, we utilize the inherent memory decay in hidden Markov models, such that the forward and backward probabilities can be carried out with subsequences, enabling efficient inference over long sequences of observations. We formulate this forward filtering process in the setting of the random dynamical system and there exist Lyapunov exponents in the i.i.d random matrices production. And the rate of the memory decay is known as $λ_2-λ_1$, the gap of the top two Lyapunov exponents almost surely. An efficient and accurate algorithm is proposed to numerically estimate the gap after the soft-max parametrization. The length of subsequences $B$ given the controlled error $ε$ is $B=\log(ε)/(λ_2-λ_1)$. We theoretically prove the validity of the algorithm and demonstrate the effectiveness with numerical examples. The method developed here can be applied to widely used algorithms, such as mini-batch stochastic gradient method. Moreover, the continuity of Lyapunov spectrum ensures the estimated $B$ could be reused for the nearby parameter during the inference.

研究动机与目标

• 解决由于观测序列中长程依赖性导致的 HMM 推理可扩展性瓶颈。
• 开发一种高效且准确的方法，用于估计滤波状态概率中记忆衰减的速率。
• 通过确定最优子序列长度以实现受控近似误差，使 HMM 中的 mini-batch 随机优化成为可能。
• 为使用 Lyapunov 指数差距作为记忆衰减代理提供理论依据和数值验证。
• 通过利用子序列的独立性，将随机算法（如 mini-batch 梯度下降）的适用性扩展到 HMM。

提出的方法

• 将前向滤波过程表述为由发射概率和转移概率导出的独立同分布（i.i.d.）随机矩阵的乘积。
• 应用随机动力系统理论和乘法遍历定理（Oseledec 定理），刻画滤波过程的长期行为。
• 提出一种数值算法，通过软最大参数化后估计前两个 Lyapunov 指数之间的差距，该差距量化了记忆衰减速率。
• 推导出子序列长度 $ B = \log(\epsilon) / (\lambda_2 - \lambda_1) $，以确保近似误差被控制在 $ \epsilon $ 以内。
• 利用 Lyapunov 谱的连续性，允许在迭代推理中对邻近参数值复用估计的子序列长度。
• 将该方法集成到 mini-batch 随机梯度下降中，用于最大似然估计，从而降低每次迭代的计算量。

实验结果

研究问题

• RQ1 隐马尔可夫模型滤波状态概率中的记忆衰减速率精确是多少？
• RQ2 前两个 Lyapunov 指数之间的差距在实践中能否准确量化这一记忆衰减速率？
• RQ3 如何高效且准确地估计记忆衰减速率，以用于基于子序列的推理？
• RQ4 为确保在近似完整观测后验概率时误差 $ \epsilon $ 受控，最优子序列长度 $ B $ 是多少？
• RQ5 该方法在多大程度上能够加速 HMM 中的随机推理算法（如 mini-batch 梯度下降）？

主要发现

• HMM 滤波中的记忆衰减速率几乎必然等于随机矩阵积的前两个 Lyapunov 指数之间的差距 $ \lambda_2 - \lambda_1 $。
• 为控制误差 $ \epsilon $ 所需的子序列长度由 $ B = \log(\epsilon) / (\lambda_2 - \lambda_1) $ 给出，从而实现高效的基于子序列的推理。
• 所提出的估计 Lyapunov 指数差距的算法在准确性和效率方面表现优异，适用于迭代推理中的实际部署。
• 数值实验表明，该方法在少于完整观测步数 10% 的情况下即可收敛至最大似然估计（MLE），对于长度为 1000 万的序列，仅需约 800 万次矩阵乘法。
• 由于其随机性质，该算法成功避开了似然函数景观中的平坦区域，如对数似然函数的等高线图所示。
• Lyapunov 谱的连续性使得可在邻近参数值之间复用估计的子序列长度，从而提高优化效率。