[论文解读] Generating More Interesting Responses in Neural Conversation Models with Distributional Constraints
本文提出了一种神经对话模型的解码目标，通过引入分布约束来减少通用性回复。通过将话题和语义相似性约束整合到束搜索中，该方法在不牺牲自然性的前提下生成了更具信息量、内容更丰富的回复，经由人工评估和自动指标验证。
Neural conversation models tend to generate safe, generic responses for most inputs. This is due to the limitations of likelihood-based decoding objectives in generation tasks with diverse outputs, such as conversation. To address this challenge, we propose a simple yet effective approach for incorporating side information in the form of distributional constraints over the generated responses. We propose two constraints that help generate more content rich responses that are based on a model of syntax and topics (Griffiths et al., 2005) and semantic similarity (Arora et al., 2016). We evaluate our approach against a variety of competitive baselines, using both automatic metrics and human judgments, showing that our proposed approach generates responses that are much less generic without sacrificing plausibility. A working demo of our code can be found at https://github.com/abaheti95/DC-NeuralConversation.
研究动机与目标
- 为解决使用最大似然解码训练的神经对话模型中普遍存在回复通用、平淡的问题。
- 通过引入分布约束形式的辅助信息，提升回复的多样性与信息量。
- 在减少对高频低信息量词汇（如“我不知道”）过度依赖的同时，保持回复的自然性。
- 通过人工判断和自动指标，评估话题和语义相似性约束在提升回复质量方面的有效性。
提出的方法
- 提出一种改进的解码目标，将条件似然与话题和语义的分布约束相结合。
- 采用Griffiths等人（2005）的模型估计输入和回复中的话题分布，偏好与输入话题相似的回复。
- 采用Arora等人（2016）提出的固定维数句子嵌入，衡量输入与回复之间的语义相似性。
- 将两种约束作为额外项引入束搜索解码过程，偏好在话题和语义上与输入匹配的假设。
- 将约束实现为词级因子，可无缝集成到自左向右的束搜索中，无需修改模型架构。
- 采用两阶段方法：首先在大规模对话数据上训练标准Seq2Seq模型；其次使用外部话题和嵌入模型进行约束解码。
实验结果
研究问题
- RQ1分布约束是否能在不降低自然性的前提下提升神经对话回复的信息量？
- RQ2基于话题的约束与语义相似性约束在减少通用回复生成方面表现如何比较？
- RQ3约束解码能否在不重新训练模型的前提下有效集成到标准束搜索中？
- RQ4结合话题与语义约束是否能带来优于基线方法的人工评分回复质量提升？
主要发现
- 人工评估显示，采用分布约束生成的回复在信息量上显著更高，且通用性更低，优于最大似然解码的结果。
- 所提方法生成的回复内容更丰富，同时与基线模型相比保持了相当水平的自然性。
- 话题与语义相似性约束的结合，相较于MMI和话题条件基线，显著提升了回复质量。
- BLEU和distinct-n等自动指标显示，生成回复的多样性和相关性均得到改善。
- 该方法成功降低了功能词在回复中的主导地位，提高了有意义内容词的比例。
更好的研究，从现在开始
从阅读论文到最终审阅，大幅缩短您的研究时间。
无需绑定信用卡
本解读由 AI 生成，并经人工编辑审核。