[论文解读] An Empirical Study of Smoothing Techniques for Language Modeling

Stanley F. Chen, Joshua Goodman|ArXiv.org|Jun 11, 1996

Natural Language Processing Techniques参考文献 17被引用 631

一句话总结

本文对n-gram语言模型的平滑技术进行了全面的实证评估，比较了Katz、Jelinek-Mercer、Church-Gale以及新方法如new-avg-count和new-one-count在不同训练数据规模、语料（Brown和Wall Street Journal）及n-gram阶数（二元语法和三元语法）下的表现。研究发现，性能在很大程度上取决于数据规模和模型阶数：Church-Gale在大规模二元语法集上表现最佳，而新方法在三元语法模型中表现优异；此外，最优参数调优能显著提升结果。

ABSTRACT

We present an extensive empirical comparison of several smoothing techniques in the domain of language modeling, including those described by Jelinek and Mercer (1980), Katz (1987), and Church and Gale (1991). We investigate for the first time how factors such as training data size, corpus (e.g., Brown versus Wall Street Journal), and n-gram order (bigram versus trigram) affect the relative performance of these methods, which we measure through the cross-entropy of test data. In addition, we introduce two novel smoothing techniques, one a variation of Jelinek-Mercer smoothing and one a very simple linear interpolation technique, both of which outperform existing methods.

研究动机与目标

• 提供语言模型平滑技术的系统性、大规模实证比较，弥补先前研究仅在单一语料和数据规模下评估少数方法的不足。
• 探究训练数据规模、语料类型（如Brown与Wall Street Journal对比）以及n-gram阶数（二元语法与三元语法）对平滑方法相对性能的影响。
• 提出并评估两种新型平滑技术：一种Jelinek-Mercer变体和一种简单的线性插值方法，评估其相对于现有方法的性能表现。
• 证明参数调优对平滑性能具有关键影响，表明次优设置会显著降低结果表现。
• 通过在测试数据上使用交叉熵衡量性能，并提供实现细节和参数敏感性分析，为未来研究建立基准。

提出的方法

• 本研究评估了多种平滑技术，包括最大似然估计、加法平滑、Jelinek-Mercer、Katz、Church-Gale以及新方法（new-avg-count和new-one-count），以交叉熵作为主要性能指标。
• 对于每种方法，通过平滑规则估计给定前n-1个词时某词的概率，将已观测到的n-gram的概率质量重新分配至未观测到的n-gram。
• 新方法new-avg-count使用数据驱动的平均计数来估计未观测n-gram的概率，而new-one-count则应用固定计数调整，两者均设计为简单且高效。
• 通过自动化搜索对具有可调参数的方法（如Katz平滑中的δ，new-avg-count中的c_min）进行参数调优，由于计算限制，最优值从较小数据集外推得出。
• 实验在多个训练数据规模（从小到大）、两个差异显著的语料（Brown和Wall Street Journal）以及二元语法和三元语法模型上进行。
• 性能通过交叉熵衡量：$ \frac{1}{N_T} \sum_{i=1}^{l_T} -\log_2 P_m(t_i) $，其中$ P_m $为方法$ m $的模型，值越低表示性能越好。

实验结果

研究问题

• RQ1 在不同语料和n-gram阶数下，平滑技术的性能如何随训练数据规模变化？
• RQ2 在小规模与大规模训练集上，哪种平滑方法在二元语法模型中表现最佳？
• RQ3 新型平滑技术（new-avg-count和new-one-count）与Katz和Church-Gale等既有方法相比，在交叉熵上的表现如何？
• RQ4 次优参数选择在多大程度上会降低平滑方法的性能？
• RQ5 基于插值的方法（interp-held-out与interp-del-int）的相对性能如何比较，其差异原因是什么？

主要发现

• Church-Gale平滑在大规模数据集训练的二元语法模型上优于所有其他方法，实现了最低的交叉熵。
• Katz平滑在小规模数据集训练的二元语法模型中表现最佳，同时在大规模数据集训练的三元语法模型中也表现出色。
• 新型方法new-avg-count在所有数据规模和语料上均持续优于三元语法模型中的现有技术。
• new-one-count方法在三元语法模型中表现几乎与new-avg-count相当，并显著优于现有方法，尽管其实现极为简单。
• 次优参数选择可能导致性能显著下降，且最优参数值高度依赖于训练数据规模。
• 性能显著受训练数据规模和n-gram阶数影响，但在不同语料间保持相对稳定，表明数据规模和模型复杂度比语料类型更具影响力。