[论文解读] Multi-Document Scientific Summarization from a Knowledge Graph-Centric View

Pancheng Wang, Shasha Li+5 more|arXiv (Cornell University)|Sep 9, 2022

Topic Modeling被引用 9

一句话总结

该论文提出KGSum，一种以知识图谱为中心的基于Transformer的多文档科学摘要模型（MDSS），通过结构化知识图谱增强编码与解码过程。通过使用图更新器整合实体-关系图谱，并采用两阶段解码机制结合KGtext生成，KGSum在Multi-XScience数据集上实现了SOTA性能，显著优于基线模型，在ROUGE和实体召回率方面表现突出。

ABSTRACT

Multi-Document Scientific Summarization (MDSS) aims to produce coherent and concise summaries for clusters of topic-relevant scientific papers. This task requires precise understanding of paper content and accurate modeling of cross-paper relationships. Knowledge graphs convey compact and interpretable structured information for documents, which makes them ideal for content modeling and relationship modeling. In this paper, we present KGSum, an MDSS model centred on knowledge graphs during both the encoding and decoding process. Specifically, in the encoding process, two graph-based modules are proposed to incorporate knowledge graph information into paper encoding, while in the decoding process, we propose a two-stage decoder by first generating knowledge graph information of summary in the form of descriptive sentences, followed by generating the final summary. Empirical results show that the proposed architecture brings substantial improvements over baselines on the Multi-Xscience dataset.

研究动机与目标

• 为应对科学文献中的信息过载问题，从主题相关的论文簇中生成简洁、连贯的摘要。
• 通过利用科学论文中显著的实体与关系，而非同等对待所有文本单元，改进MDSS中的内容建模。
• 利用结构化知识图谱建模复杂跨文献关系（如顺序、并行、矛盾等）。
• 通过知识图谱结构引导解码过程，特别是通过中间KGtext表示，提升摘要生成质量。
• 在Multi-XScience基准上证明，知识图谱集成可显著提升自动评估与人工评估的性能。

提出的方法

• 通过SciIE提取实体与关系，将输入论文统一构建为知识图谱，用于跨文献关系建模。
• 引入图更新器模块，实现统一知识图谱中节点间的信息传播，捕捉全局与跨文献关系。
• 设计实体-句子更新器，实现图谱中实体节点与句子表示之间的双向信息流动。
• 提出两阶段解码机制：第一阶段生成描述性KGtext（黄金摘要知识图谱的自然语言形式），第二阶段以KGtext为引导生成最终摘要。
• 在解码器中应用图注意力机制，将结构化知识图谱信息直接融入生成过程。
• KGtext以包含实体、类型与关系的描述性句子序列形式生成，作为中间、信息丰富的表示，用于引导抽象式摘要生成。

实验结果

研究问题

• RQ1 知识图谱能否有效建模多文档摘要中的科学论文内容与跨文献关系？
• RQ2 在编码与解码过程中引入知识图谱结构，相比标准序列模型，能否显著提升摘要质量？
• RQ3 不同知识图谱组件（实体、类型、关系）对摘要性能的影响如何？
• RQ4 采用中间KGtext生成的两阶段解码策略是否能提升摘要的连贯性与信息量？
• RQ5 知识图谱引导在多大程度上提升了生成摘要中的实体召回率与语义覆盖度？

主要发现

• KGSum在Multi-XScience数据集上取得最高的ROUGE-1、ROUGE-2与ROUGE-L得分，显著优于强基线模型。
• 在所有对比模型中，KGSum在实体召回率（EW）方面表现最高，表明其对显著科学术语与概念的聚焦能力更强。
• 在KGtext中引入关系与类型可带来ROUGE得分的渐进式提升，完整版本（Ent+Type+Rel）表现最佳（R-1: 35.77, R-2: 7.51, R-L: 31.43）。
• 尽管词粒度召回率（CW）较高（MGSum: 33.11/6.75/29.43），但其ROUGE得分较低，表明仅靠词级召回不足以实现高质量摘要，验证了语义结构的重要性。
• 人工评估确认，KGSum生成的摘要更具信息量与连贯性，对输入论文中关键实体与关系的覆盖更全面。
• 消融实验表明，图更新器与实体-句子更新器均对性能有显著贡献，证明图结构信息流动在编码阶段的有效性。