[论文解读] Evaluating Prerequisite Qualities for Learning End-to-End Dialog Systems

Jesse Dodge, Andreea Gane+6 more|arXiv (Cornell University)|Nov 21, 2015

Topic Modeling参考文献 28被引用 61

一句话总结

本文提出一个大规模、多任务基准，用于评估电影领域端到端对话系统的性能，涵盖问答、推荐、问答+推荐以及闲聊任务。记忆网络在所有任务中均表现出色，优于基线模型，并在Ubuntu对话语料库上展现出良好的泛化能力，证明其能够在统一框架下处理多样化的对话技能。

ABSTRACT

A long-term goal of machine learning is to build intelligent conversational agents. One recent popular approach is to train end-to-end models on a large amount of real dialog transcripts between humans (Sordoni et al., 2015; Vinyals & Le, 2015; Shang et al., 2015). However, this approach leaves many questions unanswered as an understanding of the precise successes and shortcomings of each model is hard to assess. A contrasting recent proposal are the bAbI tasks (Weston et al., 2015b) which are synthetic data that measure the ability of learning machines at various reasoning tasks over toy language. Unfortunately, those tests are very small and hence may encourage methods that do not scale. In this work, we propose a suite of new tasks of a much larger scale that attempt to bridge the gap between the two regimes. Choosing the domain of movies, we provide tasks that test the ability of models to answer factual questions (utilizing OMDB), provide personalization (utilizing MovieLens), carry short conversations about the two, and finally to perform on natural dialogs from Reddit. We provide a dataset covering 75k movie entities and with 3.5M training examples. We present results of various models on these tasks, and evaluate their performance.

研究动机与目标

• 为解决端到端对话系统缺乏标准化、目标导向的评估方法的问题，这些方法通常依赖自动指标或人工判断。
• 通过构建大规模、真实但定义清晰的任务，弥合小规模合成任务（如bAbI）与真实世界对话数据之间的差距。
• 评估单一端到端模型是否能够在无需任务特定工程的情况下，联合掌握多种对话技能——基于事实的问答、个性化推荐、混合对话和闲聊。
• 通过在独立的、无关的对话语料库（Ubuntu对话语料库）上进行测试，验证模型的泛化能力。

提出的方法

• 构建一个多任务数据集，包含约75,000个电影实体和约350万个训练样本，涵盖四种不同的对话任务：问答、推荐、问答+推荐和闲聊。
• 使用真实世界知识源：OMDb用于事实性问答，MovieLens用于个性化推荐，Reddit用于自然对话。
• 在所有任务上训练并评估多种神经架构，包括监督嵌入模型、LSTM和记忆网络（MemN2N）。
• 将表现最佳的模型（MemN2N）应用于Ubuntu对话语料库进行跨领域验证，采用基于检索的评估方法，使用Hits@1指标。
• 在所有任务中使用统一架构（MemN2N）以评估零样本泛化能力和多任务学习能力。
• 使用自动指标（如Hits@1）评估模型，避免人工参与评估，以确保可扩展性和可复现性。

实验结果

研究问题

• RQ1 单一端到端模型是否能够在无需任务特定设计的情况下，在多种对话任务（基于事实的问答、个性化推荐、混合对话和闲聊）中均表现良好？
• RQ2 在统一框架下，不同神经架构（如LSTM、记忆网络）在多种对话技能上的性能表现如何比较？
• RQ3 在所有四个任务上进行多任务训练是否能提升性能，还是反而导致性能下降？
• RQ4 在电影领域训练的模型是否能够泛化到其他领域，例如技术支援对话（Ubuntu语料库）？
• RQ5 记忆网络在保持长短期上下文方面，相较于标准RNN和LSTM，在多样化对话任务中表现如何？

主要发现

• 记忆网络在所有四项任务中均表现出色，优于标准基线模型，并对任务多样性表现出强鲁棒性。
• 在Ubuntu对话语料库上，3跳记忆的MemN2N在测试集上达到64.31%的Hits@1，优于最佳报告基线超过8%。
• 2跳和3跳的MemN2N模型优于1跳版本，性能在3跳时达到峰值，4跳时略有下降。
• 尽管使用了高达2000维的大规模词嵌入，标准RNN和LSTM模型的表现仍逊于记忆网络，后者通过在长短期记忆上的注意力机制实现更优性能。
• 在所有四项任务上进行多任务训练导致性能下降而非提升，表明当前设置下联合学习尚未达到最优。
• 表现最佳的模型（MemN2N）在不同领域（Ubuntu）上表现出良好泛化能力，证实其作为通用对话架构的潜力。