[论文解读] Best-first Model Merging for Hidden Markov Model Induction

Andreas Stolcke, Stephen M. Omohundro|ArXiv.org|May 10, 1994

Bayesian Modeling and Causal Inference参考文献 32被引用 114

一句话总结

该论文提出了一种基于最佳优先策略的模型合并算法，用于从数据中推导隐马尔可夫模型（HMM），利用贝叶斯后验概率指导状态合并，相较于小规模训练集上的Baum-Welch算法，显著提升了鲁棒性与准确性。通过支持多发音的词模型，该方法在语音识别中实现了28.1%的词错误率降低，证明了其在实际系统中构建紧凑且可泛化的HMM的实用有效性。

ABSTRACT

This report describes a new technique for inducing the structure of Hidden Markov Models from data which is based on the general `model merging' strategy (Omohundro 1992). The process begins with a maximum likelihood HMM that directly encodes the training data. Successively more general models are produced by merging HMM states. A Bayesian posterior probability criterion is used to determine which states to merge and when to stop generalizing. The procedure may be considered a heuristic search for the HMM structure with the highest posterior probability. We discuss a variety of possible priors for HMMs, as well as a number of approximations which improve the computational efficiency of the algorithm. We studied three applications to evaluate the procedure. The first compares the merging algorithm with the standard Baum-Welch approach in inducing simple finite-state languages from small, positive-only training samples. We found that the merging procedure is more robust and accurate, particularly with a small amount of training data. The second application uses labelled speech data from the TIMIT database to build compact, multiple-pronunciation word models that can be used in speech recognition. Finally, we describe how the algorithm was incorporated in an operational speech understanding system, where it is combined with neural network acoustic likelihood estimators to improve performance over single-pronunciation word models.

研究动机与目标

• 开发一种相较于标准Baum-Welch估计方法，在有限训练数据下更具鲁棒性与准确性的HMM结构推导方法。
• 通过偏好更简单、更具泛化能力的HMM结构，解决小样本数据场景下的过拟合问题。
• 实现紧凑的、支持多发音的词模型，以提升语音识别性能。
• 将HMM合并算法集成到使用神经网络声学估计器的实际语音理解系统中。
• 评估在实际应用中，不同先验分布与近似方法对贝叶斯模型合并效果的影响。

提出的方法

• 采用最佳优先搜索策略，从最大似然HMM出发，通过迭代合并状态，逐步生成更通用的模型。
• 使用贝叶斯后验概率准则选择下一次合并操作，平衡似然性与模型复杂度。
• 应用结构与参数先验以正则化模型复杂度，重点关注奥卡姆因子与每状态的有效数据量。
• 通过Viterbi路径评估与全局先验加权等近似方法，提升计算效率。
• 引入一种模型合并算子，避免显式计算合并后的密度，从而增强可扩展性。
• 将合并算法与神经网络声学似然估计器结合，集成于完整的语音理解系统中。

实验结果

研究问题

• RQ1 在小规模、仅含正样本的训练数据上，模型合并能否生成比Baum-Welch更准确、更鲁棒的HMM？
• RQ2 不同先验分布在引导最优HMM结构搜索方面，贝叶斯模型合并的有效性如何？
• RQ3 通过合并实现的多发音建模，在语音识别中能将词错误率改善到何种程度？
• RQ4 该合并算法能否高效集成到使用神经声学模型的实时语音理解系统中？
• RQ5 先验的选择是否显著影响合并路径？还是似然性与启发式搜索起主导作用？

主要发现

• 在使用多发音词模型的语音识别系统中，该合并算法将词错误率从40.6%降低至32.1%。
• 当使用多发音模型而非单发音基线时，语义理解错误率从43.4%降至34.1%。
• 该方法在小规模训练集上优于Baum-Welch，展现出在有限状态语言推导中更强的鲁棒性与准确性。
• 该算法成功生成了紧凑且可泛化的HMM，能有效泛化至训练数据之外，避免了过拟合。
• 先验的选择对合并路径影响极小，表明似然性与搜索启发式是决定模型结构的主要因素。
• 该方法在实际语音理解系统中嵌入后证明可行且有效，展现出实际应用价值。