[论文解读] Another Diversity-Promoting Objective Function for Neural Dialogue Generation

R. Nakamura, Katsuhito Sudoh+2 more|arXiv (Cornell University)|Nov 20, 2018

Topic Modeling参考文献 6被引用 19

一句话总结

本文提出逆提示频率（ITF）损失，一种新颖的目标函数，通过在训练过程中降低频繁词的权重、提高罕见词的权重，从而提升神经对话生成中的响应多样性。通过仅替换损失函数而不改变模型架构，ITF在OpenSubtitles数据集上实现了最先进的单字多样性（DIST-1 = 7.56），同时保持了较强的BLEU-1得分，优于MLE和MMI基线模型。

ABSTRACT

Although generation-based dialogue systems have been widely researched, the response generations by most existing systems have very low diversities. The most likely reason for this problem is Maximum Likelihood Estimation (MLE) with Softmax Cross-Entropy (SCE) loss. MLE trains models to generate the most frequent responses from enormous generation candidates, although in actual dialogues there are various responses based on the context. In this paper, we propose a new objective function called Inverse Token Frequency (ITF) loss, which individually scales smaller loss for frequent token classes and larger loss for rare token classes. This function encourages the model to generate rare tokens rather than frequent tokens. It does not complicate the model and its training is stable because we only replace the objective function. On the OpenSubtitles dialogue dataset, our loss model establishes a state-of-the-art DIST-1 of 7.56, which is the unigram diversity score, while maintaining a good BLEU-1 score. On a Japanese Twitter replies dataset, our loss model achieves a DIST-1 score comparable to the ground truth.

研究动机与目标

• 为解决神经对话生成中响应多样性低的问题，即模型倾向于生成如‘我不确定’之类的通用回复。
• 在不损害生成质量或无需复杂模型修改的前提下提升响应多样性。
• 开发一种简单、稳定且有效的损失函数，以鼓励模型生成罕见但上下文相关的词。
• 提供一种替代方案，以替代需要架构修改或预训练的复杂方法，如GAN、VAE或强化学习。

提出的方法

• 提出逆提示频率（ITF）损失，作为Softmax交叉熵（SCE）损失的频率加权变体。
• 对损失应用逆频率缩放：$ w_c = 1 / \text{freq}(\text{token}_c)^\lambda $，其中$ \lambda $控制加权强度。
• 使用加权损失$ L_{\text{ITF}} = w_c \cdot L_{\text{SCE}} $，以减少频繁词的梯度，增加罕见词的梯度。
• 保持与MLE相同的模型架构和训练流程，仅替换目标函数。
• 采用子词分词（Sentencepiece，32k词表）在训练集中计算词频。
• 调节超参数$ \lambda $以平衡多样性与流畅性，最优性能出现在$ \lambda = 0.4 $。

实验结果

研究问题

• RQ1 一个简单且非生成式的损失函数是否能在不改变架构的情况下提升响应多样性？
• RQ2 基于频率的损失加权是否能有效减少对‘我不确定’等通用短语的过度使用？
• RQ3 ITF损失是否能在显著提升单字多样性（DIST-1）的同时保持高流畅性（以BLEU衡量）？
• RQ4 与MMI、GAN和VAE等先进方法相比，ITF在多样性与训练稳定性方面表现如何？
• RQ5 ITF损失是否能在英语和日语对话数据集中生成更具上下文相关性且更少重复的响应？

主要发现

• 在OpenSubtitles数据集上，ITF损失模型实现了SOTA单字多样性得分DIST-1 = 7.56，显著优于MLE和MMI基线模型。
• ITF模型保持了较高的BLEU-1得分，表明在提升多样性的同时仍具备出色的流畅性与连贯性。
• 在日语Twitter回复数据集上，ITF模型生成的响应单字多样性与真实标签相当，表明其自然度与多样性得到提升。
• 人工评估显示，当$ \lambda \leq 0.7 $时，生成回复未出现严重语法错误，表明生成过程稳定且流畅。
• ITF损失函数在训练过程中表现稳定，且无需预训练，而GAN或强化学习方法通常需要。
• 该方法在多样性与质量方面均优于基于MMI的推理模型，证明仅通过损失重加权即可实现显著性能提升。