[论文解读] GSum: A General Framework for Guided Neural Abstractive Summarization

Zi-Yi Dou, Pengfei Liu+3 more|arXiv (Cornell University)|Oct 15, 2020

Topic Modeling参考文献 40被引用 15

一句话总结

本文提出 GSum，一种通用且可扩展的引导式神经抽象摘要框架，将多种外部引导信号——如高亮句子、关键词、关系三元组和检索到的摘要——统一整合到基于预训练语言模型的编码器-解码器架构中。该框架在四个基准数据集上实现了最先进（SOTA）的 ROUGE 分数，尤其在 CNN/DM 数据集上相较于之前的工作实现了 1.28/0.79/1.13 的 ROUGE-1/2/L 提升，同时通过用户指定的引导信号增强了摘要的忠实度与可控性。

ABSTRACT

Neural abstractive summarization models are flexible and can produce coherent summaries, but they are sometimes unfaithful and can be difficult to control. While previous studies attempt to provide different types of guidance to control the output and increase faithfulness, it is not clear how these strategies compare and contrast to each other. In this paper, we propose a general and extensible guided summarization framework (GSum) that can effectively take different kinds of external guidance as input, and we perform experiments across several different varieties. Experiments demonstrate that this model is effective, achieving state-of-the-art performance according to ROUGE on 4 popular summarization datasets when using highlighted sentences as guidance. In addition, we show that our guided model can generate more faithful summaries and demonstrate how different types of guidance generate qualitatively different summaries, lending a degree of controllability to the learned models.

研究动机与目标

• 解决神经抽象摘要模型中缺乏控制力与忠实度的问题。
• 将多种引导信号——如高亮句子、关键词、关系三元组和检索到的摘要——统一整合到一个可扩展的框架中。
• 评估不同引导类型在提升摘要质量与忠实度方面的有效性及其互补性。
• 证明用户指定的引导信号可实现可控且高质量的摘要生成。
• 探究使用“最优引导”（oracle）进行训练是否能提升模型与引导信号的一致性。

提出的方法

• 该框架采用基于预训练编码器（如 BERT、BART）的序列到序列模型，使其同时关注源文档与多种类型的引导信号。
• 引导信号被分别编码，并在解码前与源文档表示拼接。
• 训练过程中使用“最优引导”（oracle）为每个样本选择最具有信息量的引导信号，以确保引导信号与参考摘要之间具有强对齐性。
• 推理阶段，模型可基于自动提取或用户指定的引导信号进行条件生成，从而实现可控性。
• 该模型支持四种引导类型：高亮句子、关键词、关键关系三元组（主语-关系-宾语）以及检索到的摘要。
• 通过 ROUGE 和人工评估事实正确性来评估模型性能，并通过消融实验分析“最优引导”训练的必要性。

实验结果

研究问题

• RQ1 不同类型的引导信号（如高亮句子、关键词、关系三元组、检索摘要）在提升抽象摘要质量方面的表现如何比较？
• RQ2 能否有效组合多种引导信号，使摘要性能超越单一信号模型？
• RQ3 在训练中使用最优引导选择引导信号是否能显著提升模型性能与忠实度？
• RQ4 用户指定的引导信号在多大程度上可控制生成摘要的内容与风格？
• RQ5 与抽象基线模型相比，该引导模型在忠实度与新颖性方面表现如何？

主要发现

• 采用高亮句子引导的 GSum 模型在 6 个基准中的 4 个上达到最先进 ROUGE 分数，尤其在 CNN/DM 数据集上相较于之前最先进模型实现了 1.28/0.79/1.13 的 ROUGE-1/2/L 提升。
• 聚合多种引导信号（如高亮句子、关键词、关系三元组、检索摘要）可带来进一步增益，达到 48.30/45.15 的 ROUGE-1/L，优于任何单一引导信号模型。
• 引导信号的两两组合显示出互补性，每种信号均对最终摘要贡献独特优势。
• 人工评估确认，与基线相比，该引导模型生成的摘要显著更忠实（p < 0.001），事实正确性得分更高。
• 该模型可生成既忠实又具新颖性的摘要，输出与提供的引导信号高度一致，例如重复或改写输入句子。
• 在训练中使用自动提取的引导信号而非最优引导时，性能出现显著下降，证实了最优引导监督在有效引导学习中的必要性。