[论文解读] Leveraging Graph to Improve Abstractive Multi-Document Summarization

Wei Li, Xinyan Xiao+4 more|arXiv (Cornell University)|May 20, 2020

Topic Modeling参考文献 57被引用 11

一句话总结

本文提出 GraphSum，一种基于显式图表示（如相似性、主题和话语图）的神经抽象式多文档摘要模型，以在编码和解码过程中增强跨文档关系建模。通过整合图感知注意力和层次化图注意力机制，该模型在 WikiSum 和 MultiNews 数据集上实现了最先进性能，ROUGE 分数和人工评估均有显著提升，尤其在长输入场景下表现突出。

ABSTRACT

Graphs that capture relations between textual units have great benefits for detecting salient information from multiple documents and generating overall coherent summaries. In this paper, we develop a neural abstractive multi-document summarization (MDS) model which can leverage well-known graph representations of documents such as similarity graph and discourse graph, to more effectively process multiple input documents and produce abstractive summaries. Our model utilizes graphs to encode documents in order to capture cross-document relations, which is crucial to summarizing long documents. Our model can also take advantage of graphs to guide the summary generation process, which is beneficial for generating coherent and concise summaries. Furthermore, pre-trained language models can be easily combined with our model, which further improve the summarization performance significantly. Empirical results on the WikiSum and MultiNews dataset show that the proposed architecture brings substantial improvements over several strong baselines.

研究动机与目标

• 为解决多文档摘要（MDS）中建模跨文档关系的挑战，这对识别关键内容和确保摘要连贯性至关重要。
• 探究显式图表示（如相似性、主题和话语图）在增强神经抽象式 MDS 模型方面的有效性。
• 开发一个统一框架，将图结构整合到文档编码和摘要生成的全过程，以提升性能。
• 实现与预训练语言模型（如 RoBERTa）的有效集成，以处理更长的输入序列并提升摘要质量。
• 证明更丰富的图结构（如话语图）能带来更好的摘要性能，尤其在信息量、流畅性和简洁性方面。

提出的方法

• 提出一种图感知注意力机制，通过显式图结构捕捉跨文档关系，增强文档编码。
• 在解码器中采用层次化图注意力机制，利用图的结构信息引导摘要生成。
• 构建三种图结构：相似性图（基于词汇相似度）、主题图（基于主题建模）和话语图（基于话语关系）用于输入表征。
• 将图增强的编码器-解码器架构与预训练语言模型（如 RoBERTa）结合，以提升长上下文建模能力和整体性能。
• 使用图卷积网络（GCNs）优化图中节点的表征，实现显著性和关系信息的更好传播。
• 采用两阶段训练策略：首先预训练图编码器和解码器，然后端到端微调完整模型。

实验结果

研究问题

• RQ1 显式图表示（如相似性、主题和话语图）能否提升抽象式多文档摘要性能？
• RQ2 在编码和解码阶段同时引入图结构，如何影响生成摘要的质量与连贯性？
• RQ3 所提模型是否在长输入文档上显著优于强基线模型？
• RQ4 更丰富的图结构（如话语图 vs. 相似性图）在多大程度上提升摘要性能？
• RQ5 图增强模型能否与预训练语言模型有效结合，以提升长上下文摘要能力？

主要发现

• 在 WikiSum 测试集上，GraphSum 的 ROUGE-1 得分为 42.63，ROUGE-2 为 27.70，ROUGE-L 为 36.97，显著优于强基线模型。
• 消融实验表明，图感知编码（无图编码：ROUGE-1 为 40.61）和图引导解码（无图解码：ROUGE-1 为 42.06）均对性能提升至关重要。
• 在长输入（如 3000 个 token）场景下，GraphSum 保持强劲性能，且随着输入长度增加，相比基线的性能提升更加显著，体现出卓越的长上下文处理能力。
• 人工评估显示，GraphSum 和 GraphSum+RoBERTa 的平均评分最高（分别为 1.02 和 1.16），显著优于其他模型（p < 0.01）。
• GraphSum 与 RoBERTa 结合后，在 WikiSum 上的 ROUGE-1 得分为 43.21，表明图建模与预训练语言模型之间具有极强的互补性。
• 具有更丰富关系的图结构（尤其是话语图）带来更大的性能增益，证实图结构的深度能有效提升摘要质量。