[论文解读] A Dataset for Document Grounded Conversations

Kangyan Zhou, Shrimai Prabhumoye+1 more|arXiv (Cornell University)|Sep 19, 2018

Topic Modeling参考文献 10被引用 11

一句话总结

本文提出了一种新的文档对齐对话数据集，其中参与者讨论关于电影的维基百科文章，对话中的一方或双方可访问该文章。研究结果表明，使用文档信息的模型生成的回复在参与度上提升了7.5%（偏好度），流畅度提升0.96分MOS，困惑度降低11.69分，证明了在对话系统中基于外部文档进行对齐具有显著价值。

ABSTRACT

This paper introduces a document grounded dataset for text conversations. We define "Document Grounded Conversations" as conversations that are about the contents of a specified document. In this dataset the specified documents were Wikipedia articles about popular movies. The dataset contains 4112 conversations with an average of 21.43 turns per conversation. This positions this dataset to not only provide a relevant chat history while generating responses but also provide a source of information that the models could use. We describe two neural architectures that provide benchmark performance on the task of generating the next response. We also evaluate our models for engagement and fluency, and find that the information from the document helps in generating more engaging and fluent responses.

研究动机与目标

• 为解决当前缺乏在保持连贯性和参与度的同时，将回复基于外部文档的对话数据集的问题。
• 创建一个真实、人工标注的数据集，其中对话基于特定信息文档（如维基百科文章）进行对齐。
• 评估文档对齐对神经对话模型生成回复质量的影响。
• 为整合文档上下文的神经架构提供基准，以生成更具信息量、更流畅且更具参与度的回复。

提出的方法

• 通过亚马逊机械 Turk 收集数据集，两名参与者就一部关于电影的维基百科文章进行至少12轮对话。
• 参与者被分配至两种情境：一种可访问文档，另一种不可访问，以模拟不同的对齐条件。
• 数据集包含30篇涵盖多样电影类型的维基百科文章，每篇文章被划分为四个部分：基本信息和三个关键剧情场景。
• 训练了带有和不带文档上下文的神经序列到序列模型，以比较性能差异。
• 模型评估采用自动指标（困惑度）和人工评估（流畅度与参与度的MOS）来衡量回复质量。
• 在生成回复时，通过使用文档感知注意力的编码器-解码器框架，对文档上下文进行编码并进行注意力计算。

实验结果

研究问题

• RQ1 将对话回复基于特定文档，对生成回复的流畅度与参与度有何影响？
• RQ2 访问共享文档在多轮对话中，能在多大程度上提升连贯性与信息准确性？
• RQ3 神经模型能否有效利用文档内容，生成更具上下文相关性与自然感的回复？
• RQ4 文档对齐对对话系统中自动评估与人工评估指标的量化影响是什么？

主要发现

• 在人工评估中，包含文档信息的回复获得了7.5%更高的偏好度，表明其更具参与度。
• 带有文档对齐的模型回复在流畅度上的平均意见分（MOS）提高了0.96分，显示出更高的自然度。
• 采用文档对齐的模型在困惑度上降低了11.69分，表明语言建模性能更优。
• 该数据集包含4,112段对话，平均每段对话21.43轮，提供了充足的训练与评估数据。
• 在可访问文档的条件下，参与者生成的对话更具连贯性与信息量，尤其是在讨论剧情细节与人物动机时。
• 结果表明，文档对齐显著提升了生成对话回复的质量与相关性。