[论文解读] Enhancing Scientific Papers Summarization with Citation Graph

Chenxin An, Ming Zhong+4 more|arXiv (Cornell University)|Apr 7, 2021

Topic Modeling参考文献 32被引用 8

一句话总结

该论文提出 CgSum，一种基于引用图增强的科学论文摘要模型，通过图神经网络整合源论文内容与参考文献信息。尽管架构简单（BiLSTM + GAT），CgSum 在 ROUGE 指标上仍优于强大的 BERT 基础模型，表明引用图能显著提升摘要质量，使模型能够利用相关研究社区中的领域特定知识与写作风格。

ABSTRACT

Previous work for text summarization in scientific domain mainly focused on the content of the input document, but seldom considering its citation network. However, scientific papers are full of uncommon domain-specific terms, making it almost impossible for the model to understand its true meaning without the help of the relevant research community. In this paper, we redefine the task of scientific papers summarization by utilizing their citation graph and propose a citation graph-based summarization model CGSum which can incorporate the information of both the source paper and its references. In addition, we construct a novel scientific papers summarization dataset Semantic Scholar Network (SSN) which contains 141K research papers in different domains and 661K citation relationships. The entire dataset constitutes a large connected citation graph. Extensive experiments show that our model can achieve competitive performance when compared with the pretrained models even with a simple architecture. The results also indicates the citation graph is crucial to better understand the content of papers and generate high-quality summaries.

研究动机与目标

• 为解决生成高质量科学论文摘要的挑战，这些摘要通常包含大量领域特定术语与复杂概念。
• 克服现有摘要模型忽略引用网络的局限性，而引用网络中包含宝贵的上下文与定义信息。
• 构建一个大规模、连通的引用图数据集（SSN），包含 141K 篇论文与 661K 条引用关系，用于科学摘要研究。
• 提出一种新颖的归纳式与直推式设置，用于科学摘要，利用源论文内容及其引用图邻域信息。
• 证明引用图信息对于提升科学领域中模型理解能力与摘要质量至关重要。

提出的方法

• CgSum 模型使用 BiLSTM 编码器处理源论文文本，使用基于 GAT 的图编码器捕捉引用子图中的结构与语义信息。
• 从源论文周围的引用图中采样一个子图，构成其研究社区，包括源论文及其被引用的参考文献。
• 模型采用一种新颖的 ROUGE 信用机制，引导解码器关注并整合参考文献摘要中的关键词与短语。
• 解码器结合源文本编码器与图编码器的特征，生成最终的生成式摘要。
• 模型在归纳式与直推式两种设置下进行训练，后者在训练期间可访问所有测试节点，以模拟完整的引用图上下文。
• 对 BERT 基线模型应用位置编码扩展，以处理更长的输入序列，提升在长科学论文上的性能。

实验结果

研究问题

• RQ1 在仅依赖源论文内容之外，整合引用图信息是否能提升科学论文摘要的质量？
• RQ2 当源论文具有不同数量的被引用参考文献（即引用图度数不同）时，模型性能如何变化？
• RQ3 在研究社区中，相关论文间共享的术语与写作风格在多大程度上能提升摘要质量？
• RQ4 当使用引用图信息时，简单的模型架构（如 BiLSTM + GAT）是否能与大型预训练 Transformer 模型相媲美？
• RQ5 所提出的 ROUGE 信用机制在引导模型利用参考文献相关内容方面的有效性如何？

主要发现

• 尽管输入序列更短（500 vs 640）且编码器更简单（1 层 BiLSTM + 2 层 GAT vs 12 层 Transformer），CgSum 仍优于 BERT 基础模型，包括性能强劲的 BertSumAbs（mp=640）。
• 在直推式设置下，CgSum 相较于 BERT 提升 1.53 的 ROUGE-1 分数，相较于 PTGen + Cov 提升 3.99 的 ROUGE-1 分数，表明在完整引用图上下文可用时性能显著提升。
• 在归纳式设置下，CgSum 仍较 BERT 提升 0.63 的 ROUGE-1 分数，较 PTGen + Cov 提升 1.52 的 ROUGE-1 分数，表明其在未见图上的鲁棒性。
• 消融实验证明，邻域提取与 ROUGE 信用机制带来最大性能增益，其中 ROUGE 信用机制使 ROUGE-L 提升 0.73 分。
• 随着源论文引用图度数的增加，性能也随之提升，证实更丰富的引用网络能带来更好的摘要质量，尤其在直推式设置中（d_avg = 4.7 vs. 2.3 在归纳式中）。
• 移除 GNN 编码器后性能降至 PTGen + Cov 水平，验证了图编码在捕捉社区级上下文中的关键作用。