[论文解读] Energy-Based Models for Text

Anton Bakhtin, Yuntian Deng+4 more|arXiv (Cornell University)|Apr 6, 2020

Topic Modeling被引用 9

一句话总结

本文通过能量模型（EBM）框架，将全局归一化的判别器整合到自回归语言模型中，以提升文本生成质量。通过训练一个统计判别器来区分真实文本与生成文本——即使在无法访问训练数据的情况下——该方法降低了困惑度，并提升了人类评估得分，表明EBM可通过判别反馈有效增强生成模型。

ABSTRACT

Current large-scale auto-regressive language models display impressive fluency and can generate convincing text. In this work we start by asking the question: Can the generations of these models be reliably distinguished from real text by statistical discriminators? We find experimentally that the answer is affirmative when we have access to the training data for the model, and guardedly affirmative even if we do not. This suggests that the auto-regressive models can be improved by incorporating the (globally normalized) discriminators into the generative process. We give a formalism for this using the Energy-Based Model framework, and show that it indeed improves the results of the generative models, measured both in terms of perplexity and in terms of human evaluation.

研究动机与目标

• 探究是否可使用统计判别器可靠地区分自回归语言模型生成的文本与真实文本。
• 探究在有或无训练数据访问权限的情况下训练的判别器，是否能提升生成模型的质量。
• 开发一种正式框架，将判别器整合到自回归生成过程中，基于能量模型（EBM）。
• 通过自动指标（困惑度）和人类评估，评估模型改进效果。

提出的方法

• 将文本生成形式化为能量模型，其中能量函数由在真实文本与生成文本上训练的判别器学习得到。
• 使用全局归一化能量函数，确保序列上的概率分布有效。
• 通过梯度更新训练生成器，使真实序列的能量最小化，生成序列的能量最大化。
• 通过得分匹配或对比学习，将判别器的反馈融入生成过程。
• 将该方法应用于自回归模型（如GPT风格架构），通过判别信号微调模型。
• 在有训练数据访问和零样本设置（无训练数据）两种情况下训练判别器。

实验结果

研究问题

• RQ1 即使无法访问模型的训练数据，统计判别器是否仍能可靠地区分生成文本与真实文本？
• RQ2 能否将全局归一化的判别器有效集成到自回归生成过程中，以提升输出质量？
• RQ3 通过EBM集成判别反馈是否能降低困惑度并提升人类评估得分？
• RQ4 在零样本和少样本设置下，增强模型的性能与基线自回归模型相比如何？

主要发现

• 当在模型的训练数据上进行训练时，统计判别器能够可靠地区分生成文本与真实文本。
• 即使没有访问训练数据，判别器仍能区分生成文本与真实文本，尽管性能有限。
• 通过EBM框架将判别器集成到自回归模型中，可显著降低困惑度。
• 人类评估证实，增强后的模型生成的文本比基线自回归模型更真实、更流畅。
• 该方法在零样本和少样本设置下均实现性能提升，表明对有限数据具有鲁棒性。