[论文解读] A Diversity-Promoting Objective Function for Neural Conversation Models

Jiwei Li, Michel Galley+3 more|arXiv (Cornell University)|Oct 11, 2015

Topic Modeling参考文献 36被引用 253

一句话总结

本文提出以最大互信息（MMI）作为目标函数，以提升神经对话模型的多样性与质量，取代传统的似然度最大化方法。通过优化输入与输出之间的互依赖性，该方法减少了诸如“我不知道”等通用回复，生成更具多样性且与上下文相关的输出，在两个数据集上的BLEU分数和人工评估中均取得显著提升。

ABSTRACT

Sequence-to-sequence neural network models for generation of conversational responses tend to generate safe, commonplace responses (e.g., "I don't know") regardless of the input. We suggest that the traditional objective function, i.e., the likelihood of output (response) given input (message) is unsuited to response generation tasks. Instead we propose using Maximum Mutual Information (MMI) as the objective function in neural models. Experimental results demonstrate that the proposed MMI models produce more diverse, interesting, and appropriate responses, yielding substantive gains in BLEU scores on two conversational datasets and in human evaluations.

研究动机与目标

• 解决神经对话模型在输入上下文无关的情况下频繁生成过于通用、重复的回复（如“我不知道”）的问题。
• 探究用最大互信息（MMI）替代传统基于似然的训练是否能提升回复的多样性与相关性。
• 在端到端的序列到序列神经模型中，实现MMI的实用化应用。
• 评估MMI对自动指标（BLEU）及人工评估中回复质量与多样性的影响力。
• 证明基于MMI的模型相较于标准似然训练模型，能生成更具上下文相关性、语义丰富且冗余度更低的回复。

提出的方法

• 将标准似然目标函数（P(回复|输入)）替换为最大互信息（MMI），以最大化输入与输出序列之间的互依赖性。
• 将MMI目标函数表述为 log P(输入|回复) - log P(输入)，有效鼓励那些在给定输入下概率高且对输入具有信息量的回复。
• 在使用双向编码器和注意力机制的序列到序列LSTM模型中实现MMI目标函数，以增强上下文建模能力。
• 在推理阶段采用重排序策略，近似MMI目标函数，选择互信息得分最高的回复。
• 集成反语言模型（anti-LM）以进一步抑制通用回复，通过惩罚高概率但信息量低的输出。
• 使用MMI目标函数，通过随机梯度下降进行端到端训练，实现输入与输出对齐的联合优化。

实验结果

研究问题

• RQ1 将标准似然目标函数替换为最大互信息（MMI）是否能减少神经对话模型中通用、重复回复的生成？
• RQ2 与标准似然训练相比，MMI目标函数是否能带来更高的回复多样性与相关性？
• RQ3 MMI目标函数在多大程度上提升了BLEU等自动评估指标以及人工评分的质量得分？
• RQ4 在自动评估与人工评估中，MMI模型相较于强基线模型（包括SMT和基于RNN的重排序系统）表现如何？
• RQ5 MMI目标函数能否在不损害训练稳定性或推理速度的前提下，有效适配到端到端的神经序列到序列模型中？

主要发现

• MMI-bidi模型显著降低了‘我不知道’等通用回复的比例，这些回复在标准似然模型中频繁出现。
• 在OpenSubtitles数据集上，MMI模型相比基线Seq2Seq模型BLEU分数提升1.5分；在Twitter数据集上提升1.2分。
• 人工评估显示，MMI-bidi在回复质量与多样性上优于基线Seq2Seq模型与贪婪解码模型，且MMI回复获得显著更受欢迎的偏好（p < 0.05）。
• MMI-bidi输出的平均人工评分达到3.84分（满分5分），表明其在上下文相关性与感知质量方面表现优异。
• 通过N-best列表对比可见，MMI模型生成的回复更具上下文特异性与语义多样性，信息量更丰富，冗余度更低。
• 反语言模型（anti-LM）组件进一步提升了多样性，有效抑制了高频但低信息量的回复，同时未损害流畅性与连贯性。