[论文解读] DialogSum: A Real-Life Scenario Dialogue Summarization Dataset

Yulong Chen, Yang Liu+2 more|arXiv (Cornell University)|May 14, 2021

Topic Modeling参考文献 36被引用 14

一句话总结

本文介绍了 DialogSum，一个大规模的真实生活对话摘要数据集，包含来自购物、医疗咨询和商务谈判等多样化日常情境的13,460段口语对话。该数据集可用于训练和评估神经摘要模型，揭示了话语结构、回指、省略和语用学方面的独特挑战，相较于 SAMSum 和 AMI 等现有基准，其在生成式摘要任务中表现更优。

ABSTRACT

Proposal of large-scale datasets has facilitated research on deep neural models for news summarization. Deep learning can also be potentially useful for spoken dialogue summarization, which can benefit a range of real-life scenarios including customer service management and medication tracking. To this end, we propose DialogSum, a large-scale labeled dialogue summarization dataset. We conduct empirical analysis on DialogSum using state-of-the-art neural summarizers. Experimental results show unique challenges in dialogue summarization, such as spoken terms, special discourse structures, coreferences and ellipsis, pragmatics and social common sense, which require specific representation learning technologies to better deal with.

研究动机与目标

• 为摘要研究解决缺乏大规模真实口语对话数据集的问题。
• 提供一个高质量、多样化且具有代表性的多轮口语对话数据集，涵盖医疗咨询、客户服务和社交互动等日常场景。
• 使神经摘要模型能够在口语对话上进行实证评估，这些对话在结构和语言特征上与书面语或在线聊天对话存在显著差异。
• 识别并描述口语对话摘要中的独特挑战，包括话语结构、回指、省略和语用推理。
• 支持对话摘要模型的发展，使其超越内容摘要，能够捕捉对话行为和意图。

提出的方法

• 通过整合和预处理来自三个公开语料库（DailyDialog、DREAM 和 MuTual）以及一个英语学习网站（tingroom.com）的数据，构建该数据集。
• 对话经过清洗并统一为一致格式，话题由人工标注，摘要由受过培训的标注员从观察者视角生成。
• 通过结构化的标注流程确保摘要质量，包括培训、计时薪酬和时间追踪，以保证一致性和公平性。
• 该数据集包含13,460段对话，平均每段131个词符，显著长于 SAMSum（94个词符），且在主题和场景上比现有数据集更具多样性。
• 使用标准的生成式和抽取式基线模型（包括首句和最长句基线）在 DialogSum 上评估神经摘要模型，以分析摘要行为。
• 进行了话语和语用分析，以识别非线性信息流、打断和隐含意图等挑战，这些因素影响模型性能。

实验结果

研究问题

• RQ1 最先进的神经摘要模型在真实口语对话上的表现与在新闻或在线聊天数据集上的表现有何不同？
• RQ2 口语对话摘要面临哪些独特的语言和结构挑战，例如话语结构、回指和省略？
• RQ3 语用和社会常识线索在多大程度上影响对话摘要，它们如何影响模型的泛化能力？
• RQ4 口语对话中信息分散的特性如何影响抽取式摘要策略（如首句策略）的有效性？
• RQ5 DialogSum 与现有基准（如 SAMSum 和 AMI）在摘要行为上存在哪些关键差异？

主要发现

• DialogSum 更适合生成式摘要模型，而非抽取式基线，表明口语对话摘要需要超越简单抽取的深层语义理解。
• 在 DialogSum 上，首句基线模型性能优于最长句基线模型超过3%，表明关键信息通常出现在口语对话的早期，这与书面语或在线聊天不同。
• 回指和省略频繁且具有挑战性：模型必须正确解析如 'my bill'（指代另一说话人账户）等指代，才能生成准确摘要。
• 语用线索如 'Here you are' 和 'Goodbye' 隐含动作（如 'make a payment' 或 'check out'），需要超越字面内容的常识推理。
• 口语对话的话语结构比独白或书面对话更复杂且非线性，关键信息分散在多个对话回合中，增加了编码难度。
• 该数据集的平均对话长度（131个词符）比 SAMSum 的94个词符长39.8%，支持训练更大、更鲁棒的神经模型用于对话摘要。