[论文解读] Enhancing Extractive Text Summarization with Topic-Aware Graph Neural Networks

Peng Cui, Le Hu+1 more|arXiv (Cornell University)|Oct 13, 2020

Topic Modeling参考文献 40被引用 6

一句话总结

本文提出了一种主题感知图神经网络（GNN）模型，用于抽取式文本摘要，通过图结构化的文档表示捕捉句子间关系，并整合联合神经主题模型（NTM）以注入文档级别的主题信息。该模型在CNN/DM和NYT数据集上达到最先进性能，在长篇科学论文上显著优于现有方法，展现出在不同文档长度和文体下的更强鲁棒性。

ABSTRACT

Text summarization aims to compress a textual document to a short summary while keeping salient information. Extractive approaches are widely used in text summarization because of their fluency and efficiency. However, most of existing extractive models hardly capture inter-sentence relationships, particularly in long documents. They also often ignore the effect of topical information on capturing important contents. To address these issues, this paper proposes a graph neural network (GNN)-based extractive summarization model, enabling to capture inter-sentence relationships efficiently via graph-structured document representation. Moreover, our model integrates a joint neural topic model (NTM) to discover latent topics, which can provide document-level features for sentence selection. The experimental results demonstrate that our model not only substantially achieves state-of-the-art results on CNN/DM and NYT datasets but also considerably outperforms existing approaches on scientific paper datasets consisting of much longer documents, indicating its better robustness in document genres and lengths. Further discussions show that topical information can help the model preselect salient contents from an entire document, which interprets its effectiveness in long document summarization.

研究动机与目标

• 解决现有抽取式摘要模型在捕捉长文档中长距离句子间关系方面的局限性。
• 通过将潜在主题信息融入句子选择过程，提升重要性检测能力。
• 开发一个统一框架，联合建模句子间交互与文档级主题，以实现更准确的抽取式摘要。
• 评估模型在多样化文档类型中的鲁棒性，特别是在先前模型表现不佳的长篇科学论文中。
• 通过分析主题信号如何在基于图的优化之前预选关键内容，提供可解释性。

提出的方法

• 该模型构建文档的图结构表示，其中句子作为节点，边编码语义和位置关系。
• 图神经网络（GNN）聚合相连句子的表示，以捕捉长距离依赖关系并优化句子重要性得分。
• 端到端训练联合神经主题模型（NTM），从文档中发现潜在主题，生成文档级特征。
• 将NTM的主题分布与句子表示拼接，以指导GNN识别关键句子。
• 最终摘要通过基于学习到的重要性得分（结合GNN与主题感知特征）选择排名靠前的句子生成。
• 整个模型通过可微分损失函数端到端训练，以优化ROUGE得分。

实验结果

研究问题

• RQ1 图神经网络能否有效建模长文档中的句子间关系，从而提升抽取式摘要性能？
• RQ2 整合潜在主题信息在多大程度上增强了模型识别关键内容的能力？
• RQ3 所提出的方法是否在长篇科学文档上优于现有抽取式模型？
• RQ4 主题信号在基于图的优化之前，对预选重要文本内容的贡献程度如何？
• RQ5 该模型在不同文体和长度的文档中是否具有鲁棒性？

主要发现

• 在CNN/DM和NYT基准数据集上，该模型在ROUGE-1、ROUGE-2和ROUGE-L指标上均达到最先进水平。
• 在长篇科学论文数据集上，该模型显著优于先前方法，展现出更强的泛化能力和对文档长度的鲁棒性。
• 消融实验表明，若移除GNN或主题建模组件，性能均出现显著下降，证实了两个组件的贡献。
• 定性分析表明，主题信息有助于模型在复杂或分散的关键内容中预选相关句子。
• 模型的注意力机制突出显示与主题主题一致的连贯句子簇，表明其可解释性和连贯性得到提升。
• GNN与NTM的联合训练相比分别或顺序集成两个组件，能实现更优的特征学习。