[论文解读] CSDS: A Fine-Grained Chinese Dataset for Customer Service Dialogue Summarization

Haitao Lin, Liqun Ma+5 more|arXiv (Cornell University)|Aug 30, 2021

Topic Modeling参考文献 31被引用 4

一句话总结

本文提出了CSDS，一个细粒度的中文客服对话数据集，提供面向角色的摘要（用户与客服视角）和基于主题的结构化摘要，支持更准确、更具上下文感知的对话摘要。实验表明，现有方法在主题结构和角色特定内容方面表现不佳，仅达到20%的问答对匹配准确率，凸显了改进模型与评估指标的必要性。

ABSTRACT

Dialogue summarization has drawn much attention recently. Especially in the customer service domain, agents could use dialogue summaries to help boost their works by quickly knowing customer's issues and service progress. These applications require summaries to contain the perspective of a single speaker and have a clear topic flow structure, while neither are available in existing datasets. Therefore, in this paper, we introduce a novel Chinese dataset for Customer Service Dialogue Summarization (CSDS). CSDS improves the abstractive summaries in two aspects: (1) In addition to the overall summary for the whole dialogue, role-oriented summaries are also provided to acquire different speakers' viewpoints. (2) All the summaries sum up each topic separately, thus containing the topic-level structure of the dialogue. We define tasks in CSDS as generating the overall summary and different role-oriented summaries for a given dialogue. Next, we compare various summarization methods on CSDS, and experiment results show that existing methods are prone to generate redundant and incoherent summaries. Besides, the performance becomes much worse when analyzing the performance on role-oriented summaries and topic structures. We hope that this study could benchmark Chinese dialogue summarization and benefit further studies.

研究动机与目标

• 为解决现有数据集中缺乏对话特定摘要特征的问题，例如发言者角色视角与主题层级结构。
• 构建一个大规模、高质量的中文对话摘要数据集，支持抽取式与生成式摘要任务。
• 实现面向角色导向与主题结构化摘要任务的对话摘要模型基准测试。
• 识别当前摘要方法中的关键挑战，尤其在保留主题结构与避免冗余方面。
• 提出一种基于问答对匹配的新评估指标，以更准确评估摘要的结构一致性和事实一致性。

提出的方法

• 标注员将对话按主题划分为单元，并为每个单元生成问答对（用户问题摘要、客服回答摘要）。
• 构建三类摘要：整体对话摘要、面向用户摘要与面向客服摘要，以问答对作为构建模块。
• 标注提供关键信息的语句作为抽取式摘要，以指导生成式摘要的构建。
• 提出一种基于ROUGE-L的贪心匹配算法，用于评估生成摘要中正确匹配的问答对数量。
• 通过自动评估与人工评估相结合的方式，对抽取式与生成式模型进行基准测试。
• 该数据集源自匿名化的JDDC数据集，通过严格的隐私保护措施与标注者间一致性研究确保质量控制。

实验结果

研究问题

• RQ1 现有对话摘要模型能否生成准确、无冗余且保留客服对话主题结构的摘要？
• RQ2 与整体摘要相比，当前模型在角色特定摘要（用户与客服视角）上的表现如何？
• RQ3 现有方法在多大程度上未能正确区分并总结对话中的不同主题？
• RQ4 所提出的问答对匹配评估指标在检测生成摘要中的结构与事实错误方面有多有效？
• RQ5 标注的关键语句索引是否能提升生成式摘要模型在CSDS上的性能？

主要发现

• 表现最佳的模型在匹配参考问答对方面仅达到20%的准确率，表明在保留主题结构方面存在严重困难。
• 问答对匹配的精确率低至0.19，揭示了生成摘要中存在高度冗余与内容错配的问题。
• 随着主题数量的增加，性能显著下降，表明多主题对话摘要仍是重大挑战。
• 当使用标注的关键语句索引引导时，现有生成式模型性能有所提升，表明该机制对未来模型设计具有实用价值。
• 人工评估确认，生成摘要常包含不连贯或无关的内容，尤其在角色特定与主题结构化设置下更为明显。
• 所提出的问答对匹配评估指标能有效揭示标准ROUGE分数所遗漏的结构缺陷，为对话摘要提供了更可靠的评估标准。