[论文解读] A Simple Contrastive Learning Objective for Alleviating Neural Text Degeneration

Shaojie Jiang, Ruqing Zhang+2 more|arXiv (Cornell University)|May 5, 2022

Topic Modeling被引用 10

一句话总结

本文提出了一种对比标记（CT）学习目标，在训练过程中显式对比正样本（真实标签）与负样本（重复性）候选，通过减少重复来提升文本生成质量。该方法结合交叉熵与反似然目标，在语言建模与开放域对话任务中，以极低困惑度代价显著降低重复率，实现文本退化问题的最先进性能。

ABSTRACT

The cross-entropy objective has proved to be an all-purpose training objective for autoregressive language models (LMs). However, without considering the penalization of problematic tokens, LMs trained using cross-entropy exhibit text degeneration. To address this, unlikelihood training has been proposed to reduce the probability of unlikely tokens predicted by LMs. But unlikelihood does not consider the relationship between the label tokens and unlikely token candidates, thus showing marginal improvements in degeneration. We propose a new contrastive token learning objective that inherits the advantages of cross-entropy and unlikelihood training and avoids their limitations. The key idea is to teach a LM to generate high probabilities for label tokens and low probabilities of negative candidates. Comprehensive experiments on language modeling and open-domain dialogue generation tasks show that the proposed contrastive token objective yields much less repetitive texts, with a higher generation quality than baseline approaches, achieving the new state-of-the-art performance on text degeneration.

研究动机与目标

• 解决自回归语言模型中常见的神经文本退化问题，即标记、短语或句子的重复。
• 克服交叉熵与反似然训练的局限性，后者无法区分词汇表中重复性负样本与无关标记。
• 设计一种训练目标，显式对比正样本（正确）标记与负样本（重复）候选，以抑制不必要的重复。
• 在保持或略微增加困惑度的同时，通过减少重复来提升生成质量。
• 在语言建模与开放域对话生成任务中，实现文本退化问题的最先进性能。

提出的方法

• CT目标定义为对比损失，其目标是最大化真实标签（正样本）标记的概率，同时最小化一组负样本候选的概率。
• 负样本候选从序列中前 M 个标记中选取，代表可能的重复模式。
• 该方法将CT目标与标准交叉熵损失结合，以在减少退化的同时保持语言建模能力。
• 模型在自回归生成过程中端到端联合训练两个目标。
• 在每个解码步骤中应用CT目标，将真实下一个标记与最近M个标记作为负样本进行对比。
• 该方法通过仅聚焦于上下文相关的负样本候选，避免提升无关标记，从而减少噪声并增强重复抑制效果。

实验结果

研究问题

• RQ1 一种显式对比正负样本的对比学习目标，是否能比交叉熵或反似然训练更有效地减少文本退化？
• RQ2 将最近上下文标记作为负样本候选，是否相比使用所有先前标记能更有效地抑制重复？
• RQ3 CT目标能否在保持低困惑度的同时，显著降低自回归文本生成中的重复率？
• RQ4 在对话与语言建模任务的自动与人工评估指标上，CT目标与现有方法相比表现如何？
• RQ5 负样本选择的序列长度与窗口大小对生成质量与重复率的影响是什么？

主要发现

• 在语言建模任务中，CT目标在贪婪解码下达到9.19的rep-1率，在束搜索下为6.89，显著低于所有基线模型，包括UL-TS与NCE。
• 在开放域对话任务中，CT在贪婪解码下达到0.60的rep-1率，在束搜索下为0.64，所有方法中重复率最低且多样性最高。
• 在语言建模任务中，CT将rep-4率降低至0.05（贪婪）与0.12（束搜索），优于所有基线模型，包括基于反似然的方法。
• 人工评估显示，CT生成的回复比UL-TS及其他基线模型更少重复且更连贯，对话任务中人类偏好得分为0.64。
• 尽管困惑度略有上升（比基线高1.44点），但CT因在多样性与连贯性上取得显著提升，整体生成质量最优。
• 消融实验表明，仅使用最近M个标记作为负样本候选（而非所有先前标记）能带来更优性能并减少噪声。