[论文解读] Graph-based Neural Multi-Document Summarization

Michihiro Yasunaga, Rui Zhang+4 more|arXiv (Cornell University)|Jun 20, 2017

Topic Modeling参考文献 35被引用 49

一句话总结

本文提出了一种基于图的神经多文档摘要模型，该模型在个性化话语图（PDGs）上使用图卷积网络（GCNs）来捕捉句间和文档间关系。通过结合RNN嵌入的句子特征与GCN传播机制，该模型提升了重要性估计性能，并在DUC 2004数据集上取得了具有竞争力的表现，优于传统的基于图的方法和原始GRU基线模型。

ABSTRACT

We propose a neural multi-document summarization (MDS) system that incorporates sentence relation graphs. We employ a Graph Convolutional Network (GCN) on the relation graphs, with sentence embeddings obtained from Recurrent Neural Networks as input node features. Through multiple layer-wise propagation, the GCN generates high-level hidden sentence features for salience estimation. We then use a greedy heuristic to extract salient sentences while avoiding redundancy. In our experiments on DUC 2004, we consider three types of sentence relation graphs and demonstrate the advantage of combining sentence relations in graphs with the representation power of deep neural networks. Our model improves upon traditional graph-based extractive approaches and the vanilla GRU sequence model with no graph, and it achieves competitive results against other state-of-the-art multi-document summarization systems.

研究动机与目标

• 解决现有神经多文档摘要模型仅孤立处理句子、忽略跨文档与句间关系的局限性。
• 将话语层面的句子关系整合进深度神经网络，以提升多文档摘要中的重要性预测能力。
• 评估不同类型的句子关系图——余弦相似度图、近似话语图（ADG）和个性化话语图（PDG）——在提升摘要性能方面的有效性。
• 证明在结构化句子图上基于GCN的消息传递机制，相比传统图中心性方法或仅使用RNN的基线模型，能实现更优的重要性估计。

提出的方法

• 构建三种类型的句子关系图：余弦相似度图、近似话语图（ADG）和基于话语特征与句子嵌入的个性化话语图（PDG）。
• 使用双向GRU生成句子嵌入，作为GCN的输入节点特征。
• 应用多层图卷积网络（GCN）在图上传播并聚合特征，以捕捉高层次的上下文表征。
• 通过GCN处理后的句子特征顶部添加回归头进行重要性估计。
• 采用贪心句子选择策略并结合冗余性降低方法，从排名靠前的句子中提取最终摘要。
• 在PDG中采用类似PageRank的边权重机制，以突出不同文档间话语相关联的句子连接。

实验结果

研究问题

• RQ1 将句子关系图整合进神经多文档摘要模型，是否能超越传统基于图的方法或仅使用RNN的基线方法，实现更优的重要性估计？
• RQ2 不同类型的句子关系图——余弦相似度图、ADG和PDG——如何影响摘要性能？
• RQ3 在句子图上基于GCN的消息传递机制，是否能增强模型识别重要且非冗余摘要句子的能力？
• RQ4 如PDG所捕捉的话语层面关系，与表面相似度相比，在多大程度上能提升摘要质量？

主要发现

• 所提出的基于GCN的模型结合个性化话语图（PDG）在DUC 2004基准测试中取得了与最先进MDS系统相当的性能表现。
• 该模型显著优于仅独立处理句子、未引入任何图结构的原始GRU基线模型。
• 基于PDG的模型在传统基于图的抽取式方法（如LexRank和DivRank）基础上实现性能提升，证明了与话语感知图结合的深层神经网络集成的优势。
• PDG在节点度与重要性之间表现出最强相关性（ρ = 0.42），表明其在捕捉重要句子关系方面的有效性。
• ADG与PDG图的平均边权重和节点度均高于余弦相似度图，反映出其在话语关系结构编码上更为丰富。
• 可视化结果证实，PDG中高阶节点对应的重要句子与参考摘要高度一致，尤其体现在提供核心叙事内容的句子上。