[论文解读] KdConv: A Chinese Multi-domain Dialogue Dataset Towards Multi-turn Knowledge-driven Conversation

Hao Zhou, Chujie Zheng+3 more|arXiv (Cornell University)|Apr 8, 2020

Topic Modeling参考文献 40被引用 10

一句话总结

本论文提出了 KdConv，一个大规模中文多领域对话数据集，涵盖电影、音乐和旅游三个领域，共包含 4.5K 个多轮对话（86K 个话语），每个话语均从知识图谱中提取出相关的知识三元组进行标注。该数据集支持知识增强型多轮对话生成研究，基准实验结果表明，知识融合可提升模型的连贯性，但跨领域提升知识感知型响应生成能力方面仍有显著空间。

ABSTRACT

The research of knowledge-driven conversational systems is largely limited due to the lack of dialog data which consist of multi-turn conversations on multiple topics and with knowledge annotations. In this paper, we propose a Chinese multi-domain knowledge-driven conversation dataset, KdConv, which grounds the topics in multi-turn conversations to knowledge graphs. Our corpus contains 4.5K conversations from three domains (film, music, and travel), and 86K utterances with an average turn number of 19.0. These conversations contain in-depth discussions on related topics and natural transition between multiple topics. To facilitate the following research on this corpus, we provide several benchmark models. Comparative results show that the models can be enhanced by introducing background knowledge, yet there is still a large space for leveraging knowledge to model multi-turn conversations for further research. Results also show that there are obvious performance differences between different domains, indicating that it is worth to further explore transfer learning and domain adaptation. The corpus and benchmark models are publicly available.

研究动机与目标

• 为解决缺乏大规模、多领域、多轮中文对话数据集，且缺乏细粒度知识标注以支持知识驱动对话的问题。
• 支持多轮对话中知识对齐、知识规划与知识适应的研究。
• 支持在有无背景知识访问条件下，对检索式与生成式模型的评估。
• 探索相关领域（如电影到音乐）与不相关领域（如音乐到旅游）之间的领域迁移与适应。
• 为低资源、多语言环境下的知识感知对话系统提供基准。

提出的方法

• 通过人工标注在三个领域（电影、音乐、旅游）中收集多轮对话，每条对话平均包含 19 轮。
• 每个话语均标注了从知识图谱中提取的相关知识三元组，实现在句子层面的细粒度知识对齐。
• 利用外部知识源中的实体链接与关系抽取构建知识图谱，确保主题相关事实的准确对齐。
• 开发了基准模型，包括 HRED 和知识感知 BERT，分别在有无知识注入的情况下，用于检索式与生成式评估。
• 通过流畅性与连贯性指标（0–2 分制）进行人工评估，并使用 Fleiss’ kappa 检验标注者间一致性。
• 实验对比了模型在有无知识访问条件下的表现，分析了跨领域在连贯性、流畅性与知识对齐方面的差异。

实验结果

研究问题

• RQ1 知识感知模型在长篇、多轮中文对话中，能否有效生成连贯且基于知识的回应？
• RQ2 从知识图谱中引入知识在多领域、多轮对话中，能在多大程度上提升回应的流畅性与连贯性？
• RQ3 不同领域（电影、音乐、旅游）之间的性能差异如何影响知识对齐与模型泛化能力？
• RQ4 知识感知模型能否有效处理开放领域对话中的主题转换与多事实知识利用？
• RQ5 当前模型在将生成回应与非结构化或复杂知识源对齐方面存在哪些局限性？

主要发现

• 知识感知 BERT 在流畅性与连贯性方面表现最佳，连贯性得分为 2.00，表明其与上下文及知识高度一致。
• 在知识注入后，HRED 模型的连贯性得分从 1.00 提升至 1.50 以上，表明知识融合可增强对背景事实的相关性。
• 尽管有所改进，所有生成式模型的连贯性得分仍低于 2.00，表明生成知识一致回应仍面临持续挑战。
• 平均对话轮数为 19.0 轮，显著长于大多数现有数据集，支持更自然、话题多样的对话。
• 各领域表现存在差异，电影与旅游领域表现出独特挑战，提示需采用领域特定的适应策略。
• 人工评估确认标注者间一致性（Fleiss’ kappa 0.37–0.74），验证了标注与评估框架的可靠性。