[论文解读] Matching Long Text Documents via Graph Convolutional Networks

Bang Liu, Ting Zhang+4 more|arXiv (Cornell University)|Feb 21, 2018

Topic Modeling参考文献 21被引用 24

一句话总结

本文提出一种图卷积网络方法，通过概念间的语义交互建模构建概念交互图，实现长文本文档的匹配。基于孪生GCN的架构通过图卷积学习文档表征，在两个腾讯构建的新闻文章数据集上进行事件对齐任务时，显著优于当前最先进方法。

ABSTRACT

Identifying the relationship between two text objects is a core research problem underlying many natural language processing tasks. A wide range of deep learning schemes have been proposed for text matching, mainly focusing on sentence matching, question answering or query document matching. We point out that existing approaches do not perform well at matching long documents, which is critical, for example, to AI-based news article understanding and event or story formation. The reason is that these methods either omit or fail to fully utilize complicated semantic structures in long documents. In this paper, we propose a graph approach to text matching, especially targeting long document matching, such as identifying whether two news articles report the same event in the real world, possibly with different narratives. We propose the Concept Interaction Graph to yield a graph representation for a document, with vertices representing different concepts, each being one or a group of coherent keywords in the document, and with edges representing the interactions between different concepts, connected by sentences in the document. Based on the graph representation of document pairs, we further propose a Siamese Encoded Graph Convolutional Network that learns vertex representations through a Siamese neural network and aggregates the vertex features though Graph Convolutional Networks to generate the matching result. Extensive evaluation of the proposed approach based on two labeled news article datasets created at Tencent for its intelligent news products show that the proposed graph approach to long document matching significantly outperforms a wide range of state-of-the-art methods.

研究动机与目标

• 解决报道同一现实事件但叙述不同的长篇新闻文章匹配问题。
• 克服现有深度学习方法在长文档中难以捕捉复杂语义结构的局限性。
• 构建一种基于图的表征方法，以建模长文本中句子间关键概念的交互关系。
• 设计一种孪生GCN框架，以有效学习并比较文档级表征用于匹配任务。
• 在长文档匹配任务中，相比当前最先进方法，展现出更优的性能表现。

提出的方法

• 构建概念交互图，其中顶点代表连贯的关键词组（概念），边通过共享句子表示概念间的语义交互。
• 采用孪生神经网络架构，将成对文档编码到共享嵌入空间以进行比较。
• 应用图卷积网络（GCNs）通过图结构上的消息传递聚合并更新顶点特征。
• 利用学习到的图表征生成文档对之间的最终匹配分数。
• 使用标注了事件等价性的新闻文章成对数据端到端训练模型。
• 通过图边构建隐式引入注意力机制，以突出关键概念交互。

实验结果

研究问题

• RQ1 基于图的表征能否有效建模长文档中复杂的语义结构以支持匹配任务？
• RQ2 所提出的概念交互图相较于传统的序列模型或注意力模型，在捕捉长距离依赖关系方面表现如何？
• RQ3 与非图基线模型相比，孪生GCN架构在长文档对匹配任务中的性能提升程度如何？
• RQ4 在叙事不同但事件相同的现实世界新闻文章匹配中，该图基方法是否具备良好的泛化能力？
• RQ5 图卷积在学习鲁棒的文档级表征用于匹配任务中起到了何种作用？

主要发现

• 所提出的图基方法在腾讯提供的两个大规模真实新闻文章数据集上，显著优于广泛存在的当前最先进模型。
• 该模型在识别两篇长篇新闻文章是否报道同一底层事件方面表现优异，即使其叙述方式不同。
• 使用概念交互图相比传统序列模型或注意力模型，能更有效地建模长文档中的语义交互。
• 孪生GCN架构能有效学习判别性表征，从而提升匹配准确率。
• 大量消融实验验证了图结构与GCN聚合机制在实现高性能中的关键作用。
• 该方法在真实世界新闻数据上展现出强大的泛化能力，凸显其在AI驱动新闻理解系统中的实际应用价值。