[论文解读] Controllable Abstractive Dialogue Summarization with Sketch Supervision

Chien-Sheng Wu, Linqing Liu+3 more|arXiv (Cornell University)|May 28, 2021

Topic Modeling参考文献 57被引用 6

一句话总结

本文提出CODS，一种可控的摘要式对话摘要模型，采用两阶段生成流程：首先通过短语结构解析生成包含意图和关键词的弱监督摘要草图，然后通过预测文本跨度截断点生成长度可控的摘要。该模型在SAMSum数据集上达到最先进性能，ROUGE-L得分为50.79，且在人工评估中展现出优异的可控性表现。

ABSTRACT

In this paper, we aim to improve abstractive dialogue summarization quality and, at the same time, enable granularity control. Our model has two primary components and stages: 1) a two-stage generation strategy that generates a preliminary summary sketch serving as the basis for the final summary. This summary sketch provides a weakly supervised signal in the form of pseudo-labeled interrogative pronoun categories and key phrases extracted using a constituency parser. 2) A simple strategy to control the granularity of the final summary, in that our model can automatically determine or control the number of generated summary sentences for a given dialogue by predicting and highlighting different text spans from the source text. Our model achieves state-of-the-art performance on the largest dialogue summarization corpus SAMSum, with as high as 50.79 in ROUGE-L score. In addition, we conduct a case study and show competitive human evaluation results and controllability to human-annotated summaries.

研究动机与目标

• 通过引入对话结构中的结构化弱监督信号，提升摘要式对话摘要的质量。
• 在无需多长度人工标注摘要的情况下，实现对摘要粒度的细粒度控制。
• 解决对话摘要中的挑战，如信息分散、边界检测以及说话人交互建模问题。
• 开发一种方法，生成事实一致、信息丰富的摘要，同时保持可解释性与可控性。
• 在最大规模的现有对话摘要数据集SAMSum上，通过自动评估与人工评估对模型进行评估。

提出的方法

• 模型采用两阶段生成策略：首先利用短语结构解析器提取每轮对话中的疑问代词类别与关键词，生成摘要草图。
• 摘要草图作为弱监督信号，用于条件化基于BART-xsum的生成器，以生成最终的摘要。
• 引入基于文本跨度的条件生成机制，通过预测对话中的段落边界来控制摘要的句子数量。
• 模型将对话分割为上下文跨度，每个跨度对应一个摘要句子，从而在无需多长度参考摘要的情况下实现长度控制。
• 该方法基于微调BART-xsum，其在去噪目标上预训练，并进一步在XSUM上微调以用于摘要生成。
• 该方法采用条件生成设置，模型为每个分割的对话跨度生成一个句子，从而提升可解释性与控制能力。

实验结果

研究问题

• RQ1 从句法解析中提取的弱监督摘要草图是否能提升摘要式对话摘要的质量？
• RQ2 基于跨度的条件生成机制是否能在无需多粒度水平人工标注摘要的情况下实现可控的摘要长度？
• RQ3 与现有方法相比，该模型在事实一致性与信息丰富度方面表现如何？
• RQ4 草图监督在多大程度上增强了模型捕捉跨对话轮次中分散且关键信息的能力？
• RQ5 该模型在多样化对话主题与长度下是否具备泛化能力，同时保持高ROUGE分数与人工评估表现？

主要发现

• CODS在SAMSum数据集上实现了50.79的SOTA ROUGE-L得分，优于先前方法。
• 模型在人工评估中表现优异，生成的摘要在事实一致性与信息丰富度方面表现良好，尤其在可控设置下更为突出。
• 使用摘要草图显著提升了模型在多说话人与多轮对话中定位与表示关键信息的能力。
• 基于跨度的长度控制机制实现了自动且可解释的摘要粒度控制，无需依赖多份标注摘要。
• 案例研究显示，该模型能有效突出关键内容，避免遗漏重要事实，即使在仅依赖关键词提取失败时亦能表现良好。
• 与Chen和Yang（2020）相比，CODS在SAMSum上ROUGE得分高出3分，表明其在特征利用方面更具优势。