[论文解读] Don't Say That! Making Inconsistent Dialogue Unlikely with Unlikelihood Training

Margaret Li, Stephen Roller+5 more|arXiv (Cornell University)|Nov 10, 2019

Topic Modeling参考文献 27被引用 20

一句话总结

本文提出无可能训练（unlikelihood training）以通过在训练过程中惩罚不一致或矛盾的输出，来提升生成式对话模型的逻辑一致性。通过将无可能损失应用于检测并抑制重复、上下文复制、高频词过度使用以及语义矛盾——结合自动统计与基于自然语言推理（NLI）的监督——该方法显著提升了连贯性，同时保持了较低的困惑度，在中性回复选择任务上的准确率从标准最大似然训练的18%提升至78%。

ABSTRACT

Generative dialogue models currently suffer from a number of problems which standard maximum likelihood training does not address. They tend to produce generations that (i) rely too much on copying from the context, (ii) contain repetitions within utterances, (iii) overuse frequent words, and (iv) at a deeper level, contain logical flaws. In this work we show how all of these problems can be addressed by extending the recently introduced unlikelihood loss (Welleck et al., 2019) to these cases. We show that appropriate loss functions which regularize generated outputs to match human distributions are effective for the first three issues. For the last important general issue, we show applying unlikelihood to collected data of what a model should not do is effective for improving logical consistency, potentially paving the way to generative models with greater reasoning ability. We demonstrate the efficacy of our approach across several dialogue tasks.

研究动机与目标

• 解决最大似然训练无法实现的神经对话生成中的逻辑不一致与连贯性失败问题。
• 缓解生成模型中常见的退化行为，包括重复、高频词过度使用以及对对话上下文的过度复制。
• 通过来自自然语言推理（NLI）数据的监督信号，使矛盾或不连贯的回复变得不可能，从而提升模型推理能力。
• 构建一个统一的无可能训练框架，以泛化解决对话生成中的多种失效模式。
• 在单轮对话与完整对话连贯性任务上评估无可能训练的有效性。

提出的方法

• 通过在每个解码步骤定义负样本集合，将无可能损失扩展至对话生成，以惩罚不良输出。
• 应用无可能损失以控制三类分布不匹配：句内重复、上下文复制与高频词汇过度使用。
• 采用混合目标函数，结合标准最大似然损失与无可能损失，并引入可学习超参数 α 以平衡两者。
• 利用预存在的NLI数据集，在训练过程中识别并惩罚矛盾或不连贯的回复。
• 不仅对标准黄金完成序列，也对微调阶段模型生成的序列应用无可能目标，以纠正逻辑缺陷。
• 采用多任务设置，使模型在对话回复生成与矛盾检测任务上联合训练，使用类似NLI的监督信号。

实验结果

研究问题

• RQ1 无可能训练能否有效减少对话生成中的重复与高频词过度使用？
• RQ2 无可能训练能否降低对对话上下文复制的依赖？
• RQ3 无可能训练能否通过使矛盾回复更不可能来提升逻辑一致性？
• RQ4 基于无可能的训练如何影响在连贯与矛盾回复上的困惑度与选择准确率？
• RQ5 无可能框架能否泛化以提升开放域对话中的推理与连贯性？

主要发现

• 无可能训练模型将矛盾回复的困惑度从MLE基线的12.5降低至248.9（两轮对话任务），表明对不连贯输出具有强鉴别能力。
• 在两轮对话任务中，中性回复的选择准确率从18%提升至78%，证明模型在区分连贯与不连贯回复方面能力显著增强。
• 在完整对话任务中，非矛盾回复的选择准确率从37.4%提升至69.8%，表明在真实对话场景中具备稳健性能。
• 模型保持了较低的整体困惑度（MLE基线为11.4，无可能微调后仅出现轻微下降），表明与流畅性之间无权衡。
• 无可能框架成功缓解了重复、上下文复制与高频词过度使用问题，使模型输出更贴近人类回复的统计特征。
• 该方法在无需架构修改的前提下，仅通过损失函数调整与NLI数据的额外监督，即实现了逻辑一致性的可测量提升。