[论文解读] A Network-based End-to-End Trainable Task-oriented Dialogue System

Tsung-Hsien Wen, David Vandyke+6 more|arXiv (Cornell University)|Apr 15, 2016

Topic Modeling参考文献 32被引用 170

一句话总结

本文提出了一种具备显式信念跟踪器和数据库接口的端到端神经任务型对话系统，以及一个管线化的Wizard-of-Oz数据收集方法，在餐馆领域实现任务完成，且指标具有竞争力。

ABSTRACT

Teaching machines to accomplish tasks by conversing naturally with humans is challenging. Currently, developing task-oriented dialogue systems requires creating multiple components and typically this involves either a large amount of handcrafting, or acquiring costly labelled datasets to solve a statistical learning problem for each component. In this work we introduce a neural network-based text-in, text-out end-to-end trainable goal-oriented dialogue system along with a new way of collecting dialogue data based on a novel pipe-lined Wizard-of-Oz framework. This approach allows us to develop dialogue systems easily and without making too many assumptions about the task at hand. The results show that the model can converse with human subjects naturally whilst helping them to accomplish tasks in a restaurant search domain.

研究动机与目标

• 激发对端到端神经任务型对话模型的需求，这些模型能够在无需大量手工设计的情况下处理领域特定任务。
• 提出一种模块化但可端到端训练的架构，结合意图编码、信念跟踪、数据库操作符、策略网络和生成网络。
• 引入一种新颖的管线化 Wizard-of-Oz 数据收集框架，以低成本、快速收集域内对话数据。
• 证明所提出的模型在中等规模数据集下，在餐馆搜索领域也能达到具有竞争力的任务成功率和自然度。

提出的方法

• 将对话视为一个序列到序列的问题，并以对话历史和数据库检索结果作为增强。
• 使用意图网络（LSTM 或 CNN 编码器）来产生用户输入的分布式表示。
• 使用基于 CNN 的特征提取器的槽值信念跟踪器来维持概率化的槽值。
• 引入一个数据库操作符，基于信念跟踪器输出查询数据库以形成 DB 真值向量。
• 引入一个策略网络，将意图、信念状态和数据库匹配信息融合，以生成用于响应生成的行动向量。
• 使用生成网络在行动向量条件下生成骨架化响应，然后结合数据库值和去字面化标记进行词汇化。
• 可选地在生成过程中使用基于注意力的扩展，以动态加权信念跟踪器的信念。

实验结果

研究问题

• RQ1 带有显式信念跟踪和数据库接口的端到端可训练神经架构是否能够实现具有竞争力的任务型对话性能？
• RQ2 去字面化和权重绑定是否在保持任务成功的同时降低神经端到端模型的数据需求？
• RQ3 众包管线化 Wizard-of-Oz 数据收集框架如何影响域内对话数据的质量和成本？
• RQ4 哪些解码策略（平均似然、加权解码、注意力）最能提升任务成功率和自然度？
• RQ5 在任务成功和用户体验方面，所提出的模型与手工设计的模块化基线相比如何？

主要发现

编码器	跟踪器	解码器	匹配度 (%)	成功率 (%)	T5-BLEU	T1-BLEU
Baseline	lstm - lstm -	-	-	-	0.1650	0.1718
Baseline	lstm turn recurrence	lstm -	-	-	0.1813	0.1861
Variant	lstm rnn-cnn, w/o req.	lstm	88.82	30.60	0.1769	0.1799
Variant	cnn rnn-cnn	lstm	88.82	58.52	0.2354	0.2429
Full model w/ different decoding strategy	lstm rnn-cnn	lstm	86.34	75.16	0.2184	0.2313
Full model w/ attention	lstm rnn-cnn	lstm	90.88	80.02	0.2286	0.2388
Full model w/ attention + weighted	lstm rnn-cnn	lstm	90.88	83.82	0.2304	0.2369

• 具备显式信念跟踪器和数据库操作符的端到端模型在餐厅领域实现了有意义的任务完成和自然交互。
• CNN-based belief trackers generalize better to long-distance dependencies than N-gram trackers, yielding higher precision and recall.
• Attention-based generation and weighted decoding substantially improve task success, with attention providing the largest gain (~5 percentage points).
• The corpus-based evaluation shows the full model with attention and weighting achieves higher task success and BLEU scores than baselines.
• Human evaluation reports high subjective success (≈98%), with strong comprehension and naturalness ratings (>4/5) for the full model.
• Compared to a handcrafted modular system, the neural approach delivers higher user engagement and comparable task success.