[论文解读] A Neural Conversational Model

Oriol Vinyals, Quoc V. Le|arXiv (Cornell University)|Jun 19, 2015

Topic Modeling参考文献 18被引用 1,502

一句话总结

本文提出了一种基于循环神经网络（RNN）的序列到序列框架的神经对话模型，支持开放域和特定领域对话生成的端到端训练。尽管优化的是非理想目标，该模型仍能生成流畅且上下文相关的回复，并在IT帮助台和电影字幕数据集上展现出基本的推理与问题解决能力，在人类评估中优于基于规则的聊天机器人。

ABSTRACT

Conversational modeling is an important task in natural language understanding and machine intelligence. Although previous approaches exist, they are often restricted to specific domains (e.g., booking an airline ticket) and require hand-crafted rules. In this paper, we present a simple approach for this task which uses the recently proposed sequence to sequence framework. Our model converses by predicting the next sentence given the previous sentence or sentences in a conversation. The strength of our model is that it can be trained end-to-end and thus requires much fewer hand-crafted rules. We find that this straightforward model can generate simple conversations given a large conversational training dataset. Our preliminary results suggest that, despite optimizing the wrong objective function, the model is able to converse well. It is able extract knowledge from both a domain specific dataset, and from a large, noisy, and general domain dataset of movie subtitles. On a domain-specific IT helpdesk dataset, the model can find a solution to a technical problem via conversations. On a noisy open-domain movie transcript dataset, the model can perform simple forms of common sense reasoning. As expected, we also find that the lack of consistency is a common failure mode of our model.

研究动机与目标

• 开发一种无需人工规则或领域特定特征工程的简单、端到端神经对话建模方法。
• 探究序列到序列RNN是否能够在开放域和特定领域对话中生成连贯且上下文相关的回复。
• 评估模型从噪声大、规模大的数据集（如电影字幕）中提取知识并执行基本推理的能力。
• 通过人类评估和自动指标，将模型性能与基于规则的聊天机器人（如CleverBot）进行比较。
• 探索仅基于数据驱动的神经模型在保持长对话中一致性和连贯性方面的局限性。

提出的方法

• 该模型采用基于序列到序列框架的编码器-解码器架构，其中编码器RNN处理对话历史，解码器RNN逐个生成响应标记。
• 训练过程中，模型通过交叉熵损失和时间反向传播，最大化给定上下文下真实响应的似然概率。
• 推理过程中，模型采用贪婪解码：每一步预测的标记作为下一步的输入，以生成完整的响应序列。
• 该模型在两个数据集上进行训练：一个特定领域的IT帮助台数据集和一个大规模、噪声较大的开放域电影字幕数据集。
• 使用长短期记忆（LSTM）网络以缓解长序列中的梯度消失问题。
• 通过困惑度、人类评估（与CleverBot对比）以及对生成对话的定性分析来评估模型性能。

实验结果

研究问题

• RQ1 纯粹基于数据驱动、端到端的神经模型是否能够在开放域对话中生成流畅且上下文相关的回复？
• RQ2 序列到序列RNN在多大程度上能够从噪声大、非结构化的对话数据中学习并应用常识推理？
• RQ3 该神经对话模型在人类评估中的表现与CleverBot等基于规则的系统相比如何？
• RQ4 仅以最大化下一个标记生成似然为目标进行训练的神经对话模型，其主要失败模式是什么？
• RQ5 该模型能否从有限但聚焦的数据集（如IT帮助台日志）中提取并应用领域特定知识（如故障排除步骤）？

主要发现

• 在200个问题中，该模型的人类偏好得分为97分，优于CleverBot的60分，另有20次平局和23次分歧。
• 在IT帮助台数据集中，该模型成功追踪了技术问题，并在某些情况下提供了正确解决方案，展示了领域特定的推理能力。
• 在电影字幕数据集中，该模型生成的回复表现出简单的常识推理形式，如理解基本因果关系或物理属性。
• 该模型的困惑度优于n-gram基线模型，表明其更好地捕捉了对话序列中的长距离依赖关系。
• 尽管表现成功，该模型频繁表现出不一致性，例如自相矛盾（如同时声称自己是律师和医生）。
• 该模型的性能受限于缺乏连贯的人格特征和长期记忆，因此无法通过图灵测试。