[论文解读] A Neural Network Approach to Context-Sensitive Generation of Conversational Responses

Alessandro Sordoni, Michel Galley+7 more|arXiv (Cornell University)|Jun 22, 2015

Topic Modeling参考文献 26被引用 78

一句话总结

本文提出了一种基于神经网络的响应生成模型，利用循环神经网络对对话历史进行编码，并从非结构化的Twitter对话中生成流畅且上下文敏感的响应。该模型通过利用连续词嵌入缓解数据稀疏性问题，并实现在大规模社交媒体数据上的端到端训练，相较于上下文无关和上下文相关的基线模型，实现了持续的性能提升——在机器翻译任务中相对BLEU得分提高11%，在信息检索任务中提高24%。

ABSTRACT

We present a novel response generation system that can be trained end to end on large quantities of unstructured Twitter conversations. A neural network architecture is used to address sparsity issues that arise when integrating contextual information into classic statistical models, allowing the system to take into account previous dialog utterances. Our dynamic-context generative models show consistent gains over both context-sensitive and non-context-sensitive Machine Translation and Information Retrieval baselines.

研究动机与目标

• 开发一种数据驱动的、可端到端训练的响应生成系统，整合对话历史以生成更自然、更相关的内容。
• 通过使用分布式词表示，缓解统计模型在整合上下文信息时的数据稀疏性问题。
• 在无需人工特征工程、标注或解析的情况下，实现上下文敏感的响应生成。
• 提出一种多参考文本提取技术，利用BLEU和METEOR等标准SMT指标实现鲁棒的自动化评估。
• 展示神经网络在大规模非结构化社交媒体数据上实现开放域、上下文感知对话响应生成的可行性。

提出的方法

• 该模型采用循环神经网络语言模型（RNNLM）架构，将历史话语编码为连续的隐藏表示，以捕捉上下文语义。
• 通过条件RNNLM基于编码的上下文向量进行解码，实现上下文感知的响应生成。
• 使用词和短语嵌入来紧凑地表示语义和句法相似性，降低大规模训练中的稀疏性。
• 系统在非结构化的Twitter对话数据上进行端到端训练，无需人工标注的对话状态或基于规则的解析。
• 提出一种新颖的多参考文本提取技术，用于生成多个参考响应以支持自动化评估。
• 采用标准指标如BLEU和METEOR对模型进行评估，并在机器翻译和信息检索设置下与上下文无关及上下文相关的基线模型进行比较。

实验结果

研究问题

• RQ1 神经网络模型能否有效从非结构化的社交媒体对话中学习生成上下文敏感的响应？
• RQ2 与传统统计模型相比，引入对话历史的连续表示在多大程度上提升了响应的流畅性和相关性？
• RQ3 在大规模数据上进行端到端训练，无需显式对话状态建模，能在多大程度上提升响应生成性能？
• RQ4 多参考文本提取方法能否实现对神经响应生成系统可靠且一致的自动化评估？
• RQ5 随着上下文和消息输入长度的增加，模型的性能与连贯性如何变化？

主要发现

• 所提出的上下文敏感神经响应生成模型在机器翻译设置下，相较于上下文无关和上下文相关基线模型，相对BLEU得分最高提升11%。
• 在信息检索设置下，该模型相对于最佳基线模型实现了24%的相对性能提升，表明其在多样化响应生成任务中具有强大的泛化能力。
• 该模型平均生成的响应更短（8.95个词），而人类参考响应平均为11.5个词，但在70%的采样案例中仍保持了上下文合理性。
• 较长的响应往往出现不连贯、内部矛盾或情感不一致的问题，表明在长距离上下文连贯性方面仍存在挑战。
• 由于使用了分布式嵌入，模型对罕见词和低频短语表现出鲁棒性，有效缓解了数据稀疏性问题。
• 多参考文本提取技术使得能够使用标准SMT指标实现可靠且一致的自动化评估，支持不同模型间的可比性。