[论文解读] Adjusted Viterbi training for hidden Markov models

Jüri Lember, Alexey Koloydenko|ArXiv.org|Sep 14, 2007

Bayesian Methods and Mixture Models被引用 5

一句话总结

本文提出调整后的维特比训练（AVT），一种针对隐马尔可夫模型的参数估计方法，其在保持标准维特比训练计算效率的同时，实现了渐近一致性并降低了偏差。通过利用更新理论和再生过程对维特比对齐所得的经验测度进行调整，AVT 确保真实参数成为渐近不动点，从而克服了标准维特比训练的一个关键局限。

ABSTRACT

To estimate the emission parameters in hidden Markov models one commonly uses the EM algorithm or its variation. Our primary motivation, however, is the Philips speech recognition system wherein the EM algorithm is replaced by the Viterbi training algorithm. Viterbi training is faster and computationally less involved than EM, but it is also biased and need not even be consistent. We propose an alternative to the Viterbi training -- adjusted Viterbi training -- that has the same order of computational complexity as Viterbi training but gives more accurate estimators. Elsewhere, we studied the adjusted Viterbi training for a special case of mixtures, supporting the theory by simulations. This paper proves the adjusted Viterbi training to be also possible for more general hidden Markov models.

研究动机与目标

• 解决标准维特比训练在隐马尔可夫模型中存在的一致性与偏差问题，该方法无法在渐近意义上识别真实参数。
• 开发一种计算效率高的EM算法替代方法，同时保持快速收敛与低复杂度。
• 确保真实参数是训练过程的渐近不动点，这一性质EM算法具备，但标准维特比训练缺乏。
• 将调整后的维特比训练从特殊情形（如高斯混合模型）推广至一般有限状态隐马尔可夫模型。
• 利用更新理论与经验测度的弱收敛性，建立调整方法的理论一致性。

提出的方法

• 该方法利用维特比对齐，根据当前参数估计下最可能的隐状态序列，将观测数据划分为与各状态相关的子样本。
• 从这些子样本中构建经验测度 $ Q_l^n $，并利用再生过程理论证明其几乎必然弱收敛于极限测度 $ Q_l $。
• 极限测度 $ Q_l $ 由再生周期内观测与状态序列的联合分布导出，确保对状态条件观测进行正确加权。
• 调整后的估计量被定义为基于 $ Q_l^n $ 的最大似然估计量，其渐近目标为真实发射分布 $ P_l $。
• 利用更新理论证明 $ Q_l^n $ 到 $ Q_l $ 的收敛性，其中 $ \tau_0^r $ 表示首次返回再生状态的时间。
• 该方法确保当使用真实参数时，所得经验测度 $ P_l^n $ 几乎必然收敛至真实分布，从而实现一致性。

实验结果

研究问题

• RQ1 能否对维特比训练进行调整，以在保持计算效率的同时实现渐近一致性？
• RQ2 当样本量足够大时，调整后的维特比训练过程是否能将真实参数识别为不动点？
• RQ3 调整后维特比训练的理论基础能否从混合模型推广至一般隐马尔可夫模型？
• RQ4 在真实参数下，从维特比对齐中导出的经验测度的渐近行为如何？
• RQ5 如何利用再生过程与更新过程理论校正标准维特比训练中的偏差？

主要发现

• 调整后的维特比训练实现了经验测度 $ Q_l^n $ 几乎必然弱收敛至极限测度 $ Q_l $，从而在真实参数下确保了一致性。
• 极限测度 $ Q_l $ 被证明与状态 $ l $ 的期望占用时间成正比，且受过程再生结构的校正。
• 基于 $ Q_l^n $ 的调整估计量对真实发射参数 $ \theta_l $ 是一致的，而标准维特比训练并非如此。
• 该方法保持了与标准维特比训练相同的计算复杂度，因此适用于大规模应用（如语音识别）。
• $ Q_l^n $ 到 $ Q_l $ 的收敛性通过维特比过程的再生结构得到证明，其中 $ \tau_0^r $ 表示首次返回再生状态的时间。
• 理论框架证实，调整后的维特比训练通过确保真实参数为渐近不动点，有效校正了标准维特比训练的偏差。