[论文解读] BASS: Boosting Abstractive Summarization with Unified Semantic Graph

Wenhao Wu, Wei Li+6 more|arXiv (Cornell University)|May 25, 2021

Topic Modeling参考文献 52被引用 4

一句话总结

本文提出 BASS，一种基于图的框架，通过构建统一的语义图来建模长距离依赖关系和全局结构，从而增强长文本和多文档输入的摘要生成能力。通过在图编码器和图传播注意力机制中整合共指消解与短语级关系，BASS 显著提升了内容选择与连贯性，在 BIGPATENT 和 WikiSUM 数据集上均超越强基线模型，取得了当前最优的 ROUGE 分数与人工评估结果。

ABSTRACT

Abstractive summarization for long-document or multi-document remains challenging for the Seq2Seq architecture, as Seq2Seq is not good at analyzing long-distance relations in text. In this paper, we present BASS, a novel framework for Boosting Abstractive Summarization based on a unified Semantic graph, which aggregates co-referent phrases distributing across a long range of context and conveys rich relations between phrases. Further, a graph-based encoder-decoder model is proposed to improve both the document representation and summary generation process by leveraging the graph structure. Specifically, several graph augmentation methods are designed to encode both the explicit and implicit relations in the text while the graph-propagation attention mechanism is developed in the decoder to select salient content into the summary. Empirical results show that the proposed architecture brings substantial improvements for both long-document and multi-document summarization tasks.

研究动机与目标

• 为解决序列到序列（Seq2Seq）模型在处理长文档与多文档摘要时因长距离关系建模能力不足而产生的局限性。
• 通过利用统一的语义图捕捉全局结构与共指关系，提升文档表征与摘要生成质量。
• 通过基于图的编码与解码机制，增强抽取式摘要中的内容选择与连贯性。
• 通过自动评估与人工评估验证统一语义图在复杂摘要场景中的有效性。

提出的方法

• 使用依存句法分析与共指消解构建短语级统一语义图，以聚合长上下文中的共指短语。
• 应用图增强技术，编码短语之间的显式与隐式语义关系。
• 设计图编码器，通过建模短语间关系来提升文档表征能力。
• 在解码器中引入图传播注意力机制，通过选择图连接的显著内容来引导摘要生成。
• 将图结构整合至编码器与解码器中，以增强生成摘要的全局上下文理解与连贯性。
• 以预训练语言模型作为主干网络，同时通过引入基于图的归纳偏置以提升摘要性能。

实验结果

研究问题

• RQ1 统一语义图是否能有效建模长文本与多文档输入中的长距离依赖关系与全局结构？
• RQ2 与标准的 Seq2Seq 模型或句子级图模型相比，基于图的编码机制在文档表征方面有何改进？
• RQ3 解码器中的图传播注意力机制在多大程度上提升了显著内容的选择与摘要连贯性？
• RQ4 所提出的框架是否在长文档与多文档摘要任务中，于自动评估与人工评估中均优于强基线模型？
• RQ5 当输入长度增加时，模型性能是否保持稳定，尤其是在标准模型上下文长度限制之外？

主要发现

• 在 BIGPATENT 长文档摘要数据集上，BASS 取得了当前最优性能，输入长度达 3000 个 token 时，ROUGE-1 分数显著提升。
• 在 WikiSUM 多文档摘要数据集上，BASS 在自动评估与人工评估中均优于强基线模型，包括 RoBERTaS2S 与 GraphSum。
• 人工评估显示，BASS 生成的摘要更具流畅性、简洁性与信息量，其评分达 1.18，显著高于 GraphSum 的 0.58 与 RoBERTaS2S 的 0.48。
• 与先前模型相比，BASS 生成了更具抽象性的摘要，平均新颖 n-gram 数量更高，表明其具备更强的抽象生成能力。
• 在极端输入长度下，BASS 仍能保持性能优势，而 GraphSum 在超过 3000 个 token 后性能显著下降。
• 图传播注意力机制能有效引导内容选择，减少幻觉现象，提升生成摘要的连贯性。