[论文解读] Abstractive Dialog Summarization with Semantic Scaffolds

Lin Yuan, Yu Zhou|arXiv (Cornell University)|Oct 2, 2019

Topic Modeling参考文献 34被引用 16

一句话总结

本文提出了一种新颖的生成式对话摘要模型——Scaffold Pointer Network (SPNet)，通过利用说话人角色、语义槽和对话领域作为语义骨架，以提升摘要质量。SPNet 在基于 MultiWOZ 构建的新数据集上，在自动评估与人工评估指标上均优于当前最先进方法。

ABSTRACT

The demand for abstractive dialog summary is growing in real-world applications. For example, customer service center or hospitals would like to summarize customer service interaction and doctor-patient interaction. However, few researchers explored abstractive summarization on dialogs due to the lack of suitable datasets. We propose an abstractive dialog summarization dataset based on MultiWOZ. If we directly apply previous state-of-the-art document summarization methods on dialogs, there are two significant drawbacks: the informative entities such as restaurant names are difficult to preserve, and the contents from different dialog domains are sometimes mismatched. To address these two drawbacks, we propose Scaffold Pointer Network (SPNet)to utilize the existing annotation on speaker role, semantic slot and dialog domain. SPNet incorporates these semantic scaffolds for dialog summarization. Since ROUGE cannot capture the two drawbacks mentioned, we also propose a new evaluation metric that considers critical informative entities in the text. On MultiWOZ, our proposed SPNet outperforms state-of-the-art abstractive summarization methods on all the automatic and human evaluation metrics.

研究动机与目标

• 通过基于 MultiWOZ 构建新数据集，解决高质量生成式对话摘要数据集缺乏的问题。
• 克服将面向新闻的生成式模型应用于对话时存在的局限性，如实体保留差和领域不匹配问题。
• 通过引入结构化语义骨架（说话人角色、语义槽和对话领域）提升生成式摘要质量。
• 提出一种新的自动评估指标 CIC，以超越 ROUGE 更好地捕捉语义槽的相关性。
• 证明语义骨架在多轮、多领域对话中显著提升摘要质量。

提出的方法

• 采用基于注意力的 Seq2Seq 框架，并为不同说话人角色设置独立编码器，以建模说话人特异性语义。
• 在解码过程中使用去词汇化话语，并通过指针机制注入槽位值，以保留关键实体（如餐厅名称）。
• 联合优化对话领域分类与摘要生成，以提升领域感知的生成能力。
• 集成覆盖机制以减少生成摘要中的重复现象。
• 提出一种新的自动评估指标 CIC（关键信息覆盖率），用于衡量摘要中关键语义槽的相关性。
• 在新构建的基于 MultiWOZ 的生成式对话摘要数据集上端到端训练 SPNet。

实验结果

研究问题

• RQ1 将说话人角色、语义槽和对话领域骨架整合是否能显著提升生成式对话摘要质量？
• RQ2 SPNet 在自动评估与人工评估中与 Pointer-Generator 和 Transformer 等强基线模型相比表现如何？
• RQ3 所提出的 CIC 指标在捕捉关键实体保留方面，相较于 ROUGE 是否更准确反映摘要质量？
• RQ4 与单说话人模型相比，使用语义骨架是否能减少摘要中的重复与不一致性？
• RQ5 SPNet 是否可通过复用语义骨架（如新闻或会议中的命名实体）泛化至其他摘要任务？

主要发现

• SPNet 在所有自动评估指标（包括 ROUGE 和所提出的 CIC 指标）上均优于 Pointer-Generator 和 Transformer。
• 在人工评估中，SPNet 在相关性（3.77 vs. 3.56）、可读性（3.80 vs. 3.64）和简洁性（3.67 vs. 3.58）方面得分高于 Pointer-Generator，配对 t 检验 p 值均 < 0.005。
• SPNet 在与 Pointer-Generator 的成对排名中获得 61.3% 的胜率，仅输 30.3%，表明人类偏好显著。
• 该模型显著减少了重复与不一致现象——例如避免多次提及 'free wifi'——通过建模说话人特异性上下文实现。
• SPNet 比基线模型更好地保留关键实体，如餐厅预订信息（如 '6 人，周日，18:45'），而基线模型常会遗漏此类信息。
• 尽管为监督训练，SPNet 仍能偶尔生成参考摘要中未出现的正确信息，表明其具备超越真实标签的泛化能力。