[论文解读] A Contrastive Framework for Neural Text Generation

Yixuan Su, Lü Tian+4 more|arXiv (Cornell University)|Feb 13, 2022

Topic Modeling被引用 83

一句话总结

本文介绍了 SimCTG，一种对比学习训练目标，用以产生具有辨别性、各向同性的标记表示，并提出一种名为 contrastive search 的解码方法，以在生成文本时平衡连贯性和多样性，在多个基准和语言上展示了最先进的结果。

ABSTRACT

Text generation is of great importance to many natural language processing applications. However, maximization-based decoding methods (e.g. beam search) of neural language models often lead to degenerate solutions -- the generated text is unnatural and contains undesirable repetitions. Existing approaches introduce stochasticity via sampling or modify training objectives to decrease probabilities of certain tokens (e.g., unlikelihood training). However, they often lead to solutions that lack coherence. In this work, we show that an underlying reason for model degeneration is the anisotropic distribution of token representations. We present a contrastive solution: (i) SimCTG, a contrastive training objective to calibrate the model's representation space, and (ii) a decoding method -- contrastive search -- to encourage diversity while maintaining coherence in the generated text. Extensive experiments and analyses on three benchmarks from two languages demonstrate that our proposed approach significantly outperforms current state-of-the-art text generation methods as evaluated by both human and automatic metrics.

研究动机与目标

• 在使用标准似然基训练和解码时，激励并解决神经文本生成中的退化问题。
• 提出一种对比训练目标，将标记表示校准为趋于各向同性和辨别性。
• 引入一个解码算法（对比搜索），在提升多样性的同时保持连贯性。

提出的方法

• 定义并优化对比损失 L_CL，利用带有边距 rho 的余弦相似性来促进辨别性的标记表示。
• 将 L_MLE 与 L_CL 结合成 SimCTG 的训练目标。
• 推导一种对比解码规则，从前 k 个候选中选择，平衡模型置信度与基于标记表示相似性的退化惩罚。
• 评估包括贪婪、束搜索、核采样以及所提出的对比搜索等解码方法。
• 将该方法应用于跨多语言和不同模型规模的开放式文档生成与开放领域对话生成。

实验结果

研究问题

• RQ1 与标准的 MLE 训练相比，对比训练是否能产生更具辨别性且更各向同性的标记表示？
• RQ2 所提出的对比搜索解码能否在不牺牲与前缀的语义对齐的前提下提升连贯性和多样性？
• RQ3 SimCTG 是否在跨任务（文档生成、对话）、跨语言（英语、汉语）以及不同模型规模下都有效？
• RQ4 对比损失的不同超参数（边距 rho）及解码器的参数（k、alpha）如何影响性能？

主要发现

• 在 Wikitext-103 上，SimCTG 的困惑度和下一个标记的准确性优于基线。
• SimCTG 结合对比搜索可获得最佳的生成质量，包括更少重复、更多样性以及标记分布更接近人类（MAUVE）。
• 对比搜索提升了连贯性与流畅性，在人工评估中优于核采样，尤其是在使用 SimCTG 时。
• 人工评估表明，使用对比搜索的 SimCTG 在多个数据集上的流畅性和连贯性可与人类相当甚至超过，人机更大模型时尤为显著。
• 在英语和中文对话数据集上，SimCTG + 对比搜索在连贯性、流畅性和信息性方面持续优于基线。