[论文解读] Aggregate and mixed-order Markov models for statistical language processing

Lawrence K. Saul, Fernando Pereira|ArXiv.org|Jun 9, 1997

Algorithms and Data Compression参考文献 12被引用 138

一句话总结

本文提出将聚合模型与混合阶马尔可夫模型作为标准n-gram模型之间的中间语言模型，通过EM训练的词类概率模型和跳k步转移矩阵来提升泛化能力。当插入平滑化过程时，这些模型在未见词组合上的困惑度降低超过50%，相比传统n-gram回退模型性能更优，且训练时间显著减少。

ABSTRACT

We consider the use of language models whose size and accuracy are intermediate between different order n-gram models. Two types of models are studied in particular. Aggregate Markov models are class-based bigram models in which the mapping from words to classes is probabilistic. Mixed-order Markov models combine bigram models whose predictions are conditioned on different words. Both types of models are trained by Expectation-Maximization (EM) algorithms for maximum likelihood estimation. We examine smoothing procedures in which these models are interposed between different order n-grams. This is found to significantly reduce the perplexity of unseen word combinations.

研究动机与目标

• 为解决大规模词汇量语言建模中从稀疏训练数据中泛化的问题。
• 开发在不同n-gram阶数之间处于中间规模与准确率的模型。
• 通过改进的平滑技术降低对未见词组合的困惑度。
• 提供一种计算效率更高的替代最大熵模型的方法，性能相当或更优。

提出的方法

• 聚合马尔可夫模型使用概率词类来减少参数数量，词类分配通过EM算法学习以最大化似然。
• 混合阶马尔可夫模型使用上下文相关的混合系数，将来自跳k步转移矩阵（例如，基于k步前的词）的预测结果进行组合。
• 两种模型均使用期望最大化（EM）算法进行训练，以联合优化混合权重与转移概率。
• 通过在不同n-gram阶数之间插入这些中间模型实现平滑，从而提升对罕见或未见序列的泛化能力。
• 混合阶模型的复杂度为O(mV²)，远低于完整m+1-gram模型的O(V^{m+1})。
• 该框架可通过调整预测结果以匹配其使用上下文，实现一致的插值。

实验结果

研究问题

• RQ1 在unigram、bigram和trigram n-gram之间复杂度居中的模型能否降低对未见词序列的困惑度？
• RQ2 在大规模词汇量语言建模中，使用概率词类（聚合模型）在提升泛化能力方面有多有效？
• RQ3 基于非相邻词的跳k步转移矩阵能否在预测准确度上超越标准bigram模型？
• RQ4 在平滑过程中于n-gram阶数之间插入中间模型是否能显著降低困惑度？
• RQ5 基于EM的中间模型的训练效率与最大熵模型相比如何？

主要发现

• 使用中间聚合与混合阶模型后，与基线trigram回退模型相比，未见词组合的困惑度降低了超过50%。
• 混合阶模型的困惑度降低了16%至22%（取决于trigram截断方式），优于基线trigram模型。
• 基于EM的混合阶模型训练耗时不足12个CPU小时，远快于同类研究中最大熵模型所需的200个CPU天。
• 截断稀有trigram可提升性能，即使仅保留最频繁的trigram，混合阶模型仍能保持低困惑度。
• 模型在不同随机测试集划分中表现出一致的性能，表明其鲁棒性良好。
• 聚合模型通过控制词类数量，在unigram与bigram复杂度之间实现折中，且随着类数增加，性能持续提升。