[论文解读] A Survey of Available Corpora for Building Data-Driven Dialogue Systems

Iulian Vlad Serban, Ryan Lowe+3 more|arXiv (Cornell University)|Dec 17, 2015

Speech and dialogue systems参考文献 187被引用 181

一句话总结

本文全面调查了可用于训练数据驱动对话系统的公开对话语料库，评估其特征、在学习对话策略方面的可用性，以及在迁移学习和外部知识整合中的适用性。研究识别出人类-人类与人类-机器交互中的关键数据集，强调其结构、规模和模态，并提供评估指标（如NUC、困惑度和多样性得分）的指导，以支持稳健的模型开发。

ABSTRACT

During the past decade, several areas of speech and language understanding have witnessed substantial breakthroughs from the use of data-driven models. In the area of dialogue systems, the trend is less obvious, and most practical systems are still built through significant engineering and expert knowledge. Nevertheless, several recent results suggest that data-driven approaches are feasible and quite promising. To facilitate research in this area, we have carried out a wide survey of publicly available datasets suitable for data-driven learning of dialogue systems. We discuss important characteristics of these datasets, how they can be used to learn diverse dialogue strategies, and their other potential uses. We also examine methods for transfer learning between datasets and the use of external knowledge. Finally, we discuss appropriate choice of evaluation metrics for the learning objective.

研究动机与目标

• 系统性地调查适合用于训练数据驱动对话系统的公开可用对话语料库。
• 分析这些数据集的特征，包括对话类型、模态（文本/语音/视频）以及收集方法。
• 评估每个语料库在学习多样化对话策略、个性化和上下文理解方面的适用性。
• 研究在对话建模中跨语料库的迁移学习以及外部知识源的整合。
• 推荐适当的评估指标，如NUC、困惑度和响应多样性，以评估对话系统性能。

提出的方法

• 作者对公开可用的对话语料库进行了广泛调查，按交互类型（人类-人类 vs. 人类-机器）、模态（文本、语音、视频）和对话场景（自然对话 vs. 受控对话）进行分类。
• 对每个语料库分析其规模、主题、对话结构和收集方法，包括真实互动中的人类-人类对话、面向任务系统的机器-人类对话，以及来自文学作品的虚构对话。
• 研究评估了每个数据集在训练对话策略、状态追踪、响应生成和端到端神经网络学习方面的潜力。
• 论文讨论了语料库之间的迁移学习技术以及将外部知识（如知识图谱）整合到对话模型中的方法。
• 评估并比较了标准指标，如下一话语分类（NUC）、词困惑度和响应多样性（distinct-1/2），用于模型评估。
• 作者提出一个基于学习目标和模型类型的评估指标选择框架。

实验结果

研究问题

• RQ1 哪些公开可用的对话语料库最适用于训练数据驱动对话系统，其关键特征是什么？
• RQ2 不同类型的语料库（人类-人类、人类-机器、自然对话、受控对话或虚构对话）如何影响对话模型的性能和泛化能力？
• RQ3 评估对话系统性能的最有效指标是什么，它们如何与人类生成的响应对齐？
• RQ4 在不同对话语料库之间应用迁移学习的程度如何，能否提升模型泛化能力？
• RQ5 如何有效将外部知识整合到基于现有语料库训练的对话系统中？

主要发现

• 该综述识别并描述了大量公开可用的对话语料库，涵盖面向任务和开放域数据集，其规模、模态和收集方法各不相同。
• 人类-机器交互语料库（如DSTC和MultiWOZ）特别适用于训练面向任务的对话系统，因其具有结构化的对话行为和目标导向特性。
• 开放域语料库（如Cornell、Ubuntu和DailyDialog）支持非目标驱动、开放式对话系统的开发，但通常缺乏显式的对话状态注释。
• 评估指标如下一话语分类（NUC）和词困惑度被证明在衡量模型性能方面有效，尤其是当与多样性指标（如distinct-1和distinct-2）结合使用时。
• 在语料库之间进行迁移学习是可行的，并能提升低资源对话任务的性能，特别是在源域和目标域具有语言或结构相似性时。
• 整合外部知识源（如知识图谱或KB）可显著提升生成对话中响应的相关性和事实一致性。