[论文解读] Calibration, Entropy Rates, and Memory in Language Models

Mark Braverman, Xinyi Chen+4 more|arXiv (Cornell University)|Jun 11, 2019

Topic Modeling参考文献 38被引用 13

一句话总结

本文提出一种基于校准的方法，用于检测并纠正语言模型在自回归生成过程中产生的长期分布偏差。研究发现，SOTA模型如LSTM和Transformer在自回归生成过程中存在显著的熵率退化现象。该方法通过校准模型预测以更准确匹配真实分布特性，从而提升生成质量与记忆估计能力，使困惑度降低约20点，并实现与远距离上下文互信息的上界估计。

ABSTRACT

Building accurate language models that capture meaningful long-term dependencies is a core challenge in natural language processing. Towards this end, we present a calibration-based approach to measure long-term discrepancies between a generative sequence model and the true distribution, and use these discrepancies to improve the model. Empirically, we show that state-of-the-art language models, including LSTMs and Transformers, are \emph{miscalibrated}: the entropy rates of their generations drift dramatically upward over time. We then provide provable methods to mitigate this phenomenon. Furthermore, we show how this calibration-based approach can also be used to measure the amount of memory that language models use for prediction.

研究动机与目标

• 识别并纠正自回归语言模型生成中长期分布不匹配的问题，特别是熵率与记忆使用方面的问题。
• 开发一种理论基础坚实且计算高效的校准程序，可在不微调的情况下改善模型校准度。
• 通过与远距离历史标记的互信息上界，量化语言模型实际使用的长期记忆量。
• 证明高单步困惑度并不能保证长期生成质量的准确性，揭示了当前评估指标中的关键缺陷。
• 为未来感知生成的神经语言模型提供一个系统性评估与改进框架。

提出的方法

• 提出一种基于一维凸优化的校准框架，通过调节参数 α 来调整模型预测，使其更贴近参考分布。
• 定义一族分布 Dα(Z|Y,X) = D(Z|Y,X) * Ŵ(Z|Y,X)^α / Zα 来建模校准后的预测，其中 D 为原始模型，Ŵ 为参考分布。
• 使用真实分布与校准后模型之间的交叉熵作为校准质量的代理指标，支持高效的蒙特卡洛估计。
• 基于校准分布推导出模型预测与远距离过去标记之间互信息的上界，从而实现记忆估计。
• 通过有限记忆参考模型（Ŵ）进行经验校准，该模型仅基于近期上下文预测下一个标记，从而实现与 τ 相关的记忆上界。
• 将校准程序应用于 LSTM 和 Transformer 模型，在长序列上均显示出熵率与困惑度的稳定提升。

实验结果

研究问题

• RQ1 SOTA 语言模型（如 LSTM 和 Transformer）在其长期生成中与真实语言分布的偏离程度如何？
• RQ2 基于校准的方法是否能在不微调的前提下纠正自回归生成中的熵率退化？
• RQ3 如何利用校准模型来估计并界定模型预测与远距离上下文之间的互信息？
• RQ4 高单步困惑度是否能可靠地指示良好的长期生成质量，还是存在隐藏的分布偏差？
• RQ5 基于校准的方法能否作为评估与改进神经语言模型未来感知生成能力的通用框架？

主要发现

• SOTA 语言模型（包括 GPT-2 和 AWD-LSTM）在自回归生成过程中熵率显著上升——例如，GPT-2 在 WebText 上的熵率从 23.7 上升至 61.2，表明存在明显校准偏差。
• 所提出的校准程序使 LSTM 模型的困惑度降低了约 20 点，显著提升了长期生成质量。
• 校准后的模型实现了与远距离上下文互信息的更紧上界，表明记忆使用随 τ 增大而衰减，符合预期。
• 实证结果表明，对于更长的 τ，最优校准系数 α* 变为负数，表明模型原始预测相对于参考分布过于自信。
• 真实分布与参考模型（Ŵ）之间的交叉熵可通过蒙特卡洛方法高效估计，从而支持可扩展的记忆估计。
• 理论分析证实，单步 KL 散度无法控制熵率等长期属性，因此校准校正的必要性得到理论支持。