[论文解读] Entropy-based Pruning of Backoff Language Models

Andreas Stolcke|ArXiv.org|Jun 11, 2000

Natural Language Processing Techniques参考文献 9被引用 267

一句话总结

本文提出了一种基于熵的 N-gram 后退语言模型剪枝方法，通过最小化原始模型与剪枝后模型之间的相对熵来保持性能的同时减小模型大小。该方法高效计算精确的相对熵变化，支持基于阈值的剪枝策略，将 Hub4 4-gram 模型压缩至原始大小的 26%，且识别错误率无显著增加。

ABSTRACT

A criterion for pruning parameters from N-gram backoff language models is developed, based on the relative entropy between the original and the pruned model. It is shown that the relative entropy resulting from pruning a single N-gram can be computed exactly and efficiently for backoff models. The relative entropy measure can be expressed as a relative change in training set perplexity. This leads to a simple pruning criterion whereby all N-grams that change perplexity by less than a threshold are removed from the model. Experiments show that a production-quality Hub4 LM can be reduced to 26% its original size without increasing recognition error. We also compare the approach to a heuristic pruning criterion by Seymore and Rosenfeld (1996), and show that their approach can be interpreted as an approximation to the relative entropy criterion. Experimentally, both approaches select similar sets of N-grams (about 85% overlap), with the exact relative entropy criterion giving marginally better performance.

研究动机与目标

• 开发一种基于信息论原理的 N-gram 后退语言模型剪枝准则，以优化模型质量与大小。
• 确保剪枝准则计算高效且自包含，仅依赖模型参数，无需外部训练统计量。
• 将所提出的相对熵准则与现有启发式方法（特别是 Seymore 和 Rosenfeld 的方法）进行对比评估。
• 证明基于相对熵的剪枝可在显著减小模型大小的同时维持或略微提升识别性能。

提出的方法

• 该方法使用相对熵（Kullback-Leibler 散度）作为衡量原始模型与剪枝后语言模型之间模型失真的指标。
• 精确计算剪枝每个单独 N-gram 所带来的相对熵贡献，从而精确评估各 N-gram 对模型质量的影响并实现排序。
• 剪枝阈值基于困惑度的相对变化设定，将导致困惑度增加低于阈值的 N-gram 移除。
• 剪枝后重新计算后退权重，以保持剪枝后模型的概率归一化。
• 该方法自包含，仅需模型参数（概率和后退权重），无需原始训练计数。
• 该方法与 Seymore 和 Rosenfeld 的启发式准则进行对比，后者使用对数概率差与频率的加权组合，被证明是相对熵准则的近似。

实验结果

研究问题

• RQ1 原始模型与剪枝后模型之间的相对熵能否作为 N-gram 剪枝的可靠、高效且自包含的准则？
• RQ2 基于熵的剪枝方法在困惑度与词错误率方面相较于 Seymore 和 Rosenfeld 提出的启发式方法表现如何？
• RQ3 基于相对熵与启发式准则所选择的 N-gram 重叠程度如何？这对模型质量有何影响？
• RQ4 相对熵准则是否足够高效，可实际应用于大规模语言模型（如 Hub4 模型）？
• RQ5 基于相对熵的剪枝是否能在显著减小模型大小的同时维持识别性能？

主要发现

• 基于熵的剪枝方法将一个生产级的 Hub4 4-gram 语言模型压缩至原始大小的 26%，且识别错误率无显著增加。
• 在保留 100,000 个三元组时，相对熵准则的困惑度比 Seymore 和 Rosenfeld 的启发式方法低 1.2%，尽管在词错误率上差异可忽略。
• 两种剪枝方法选择的 N-gram 重叠度达 85% 至 88%，表明尽管底层准则不同，其 N-gram 选择结果高度一致。
• 相对熵方法在困惑度上略优于启发式方法，证实其作为优化准则的理论合理性。
• 剪枝后保留 100,000 个三元组的模型达到 33.1% 的词错误率，与完整模型性能一致，证明剪枝不会降低识别质量。
• 该方法计算高效且自包含，仅依赖模型参数，适用于现有语言模型的后处理。