[论文解读] A Comparison of Two Smoothing Methods for Word Bigram Models

Linda C. Bauman Peto|ArXiv.org|Oct 31, 1994

Natural Language Processing Techniques被引用 3

一句话总结

本文比较了词二元语言模型中两种平滑方法：删除估计法与MacKay的贝叶斯方法（使用狄利克雷先验）。在200万词的加拿大下议院记录语料库上进行评估，两种方法的困惑度表现相近，但MacKay的方法因参数化和优化策略更高效，计算资源需求更低。

ABSTRACT

A COMPARISON OF TWO SMOOTHING METHODS FOR WORD BIGRAM MODELS Linda Bauman Peto Department of Computer Science University of Toronto Abstract Word bigram models estimated from text corpora require smoothing methods to estimate the probabilities of unseen bigrams. The deleted estimation method uses the formula: Pr(i|j) = lambda f_i + (1-lambda)f_i|j, where f_i and f_i|j are the relative frequency of i and the conditional relative frequency of i given j, respectively, and lambda is an optimized parameter. MacKay (1994) proposes a Bayesian approach using Dirichlet priors, which yields a different formula: Pr(i|j) = (alpha/F_j + alpha) m_i + (1 - alpha/F_j + alpha) f_i|j where F_j is the count of j and alpha and m_i are optimized parameters. This thesis describes an experiment in which the two methods were trained on a two-million-word corpus taken from the Canadian _Hansard_ and compared on the basis of the experimental perplexity that they assigned to a shared test corpus. The methods proved to be about equally accurate, with MacKay's method using fewer resources.

研究动机与目标

• 评估并比较两种平滑技术在词二元语言模型中的有效性。
• 使用困惑度作为主要指标，在大规模文本语料库上评估性能。
• 确定两种平滑方法在计算效率上的差异。
• 研究优化参数对模型泛化至未见二元组的影响。

提出的方法

• 使用参数化公式进行删除估计：Pr(i|j) = λf_i + (1−λ)f_i|j，其中f_i和f_i|j分别为相对频率与条件频率，λ为优化参数。
• 采用MacKay的贝叶斯平滑方法，结合狄利克雷先验，使用公式Pr(i|j) = (α/F_j + α) m_i + (1 − α/F_j + α) f_i|j，其中F_j为词j的频次，α和m_i为优化参数。
• 在加拿大下议院议会记录语料库的两百万词语料上训练两种模型。
• 使用困惑度作为评估指标，在共享测试语料上评估模型性能。
• 通过交叉验证或类似技术优化模型参数（λ, α, m_i），以最小化困惑度。
• 应用一致的预处理与归一化，以确保两种方法之间的公平比较。

实验结果

研究问题

• RQ1 在未见测试数据上，删除估计法与MacKay的贝叶斯平滑方法在困惑度上的表现如何比较？
• RQ2 哪种平滑方法对罕见或未见二元组的泛化能力更优？
• RQ3 每种平滑方法的计算资源需求如何？
• RQ4 两种方法对优化参数选择的敏感性如何？

主要发现

• 两种平滑方法在测试语料上的困惑度表现几乎完全相同。
• MacKay的贝叶斯方法在计算开销更低的情况下实现了相当的准确性。
• 删除估计法中的优化参数λ有效平衡了频率估计与先验估计。
• 贝叶斯方法使用狄利克雷先验，即使在低频二元组上也能提供稳定的概率估计。
• 两种方法之间的性能差异可忽略不计，表明不同平滑策略下均具有鲁棒性。