[论文解读] Graph Sequential Network for Reasoning over Sequences

Ming Tu, Jing Huang+2 more|arXiv (Cornell University)|Apr 4, 2020

Topic Modeling参考文献 30被引用 4

一句话总结

该论文提出图序列网络（GSN），一种新型图神经网络（GNN）变体，通过共注意力机制在序列化节点特征上直接进行消息传递，避免了早期汇总导致的信息损失。GSN 支持序列标注任务，并在基于序列的图上提升了推理能力，在 HotpotQA 和 FEVER 上的表现优于标准 GNN，分别在 FEVER 得分上提升 1.29%，在准确率上提升 1.19%。

ABSTRACT

Recently Graph Neural Network (GNN) has been applied successfully to various NLP tasks that require reasoning, such as multi-hop machine reading comprehension. In this paper, we consider a novel case where reasoning is needed over graphs built from sequences, i.e. graph nodes with sequence data. Existing GNN models fulfill this goal by first summarizing the node sequences into fixed-dimensional vectors, then applying GNN on these vectors. To avoid information loss inherent in the early summarization and make sequential labeling tasks on GNN output feasible, we propose a new type of GNN called Graph Sequential Network (GSN), which features a new message passing algorithm based on co-attention between a node and each of its neighbors. We validate the proposed GSN on two NLP tasks: interpretable multi-hop reading comprehension on HotpotQA and graph based fact verification on FEVER. Both tasks require reasoning over multiple documents or sentences. Our experimental results show that the proposed GSN attains better performance than the standard GNN based methods.

研究动机与目标

• 解决在自然语言处理任务中，当图神经网络处理序列化节点特征时，因早期汇总导致的信息损失问题。
• 通过保留序列级表示，使图神经网络输出能够支持序列标注任务。
• 提升基于多文本序列构建的图上的多跳推理能力，例如阅读理解与事实验证任务。
• 设计一种动态关注连接节点间序列的注意力消息传递机制。
• 在需要跨文档推理的复杂推理型自然语言处理任务上验证模型性能。

提出的方法

• GSN 在节点与其每个邻居之间引入基于共注意力的消息传递机制，替代传统的基于向量的聚合方式。
• 共注意力机制计算当前节点与邻居序列中词元之间的注意力权重，实现上下文感知的特征传播。
• 通过注意力矩阵对邻居特征进行加权聚合来更新每个节点的表示，从而保留序列级结构信息。
• 模型直接处理原始 BERT 编码的序列，不进行池化操作，以保持完整的序列上下文用于推理。
• 在 GSN 之后应用两步注意力池化，生成用于分类任务的图级表示。
• 该框架支持节点级序列标注和图级分类，而标准 GNN 仅输出固定大小的向量。

实验结果

研究问题

• RQ1 当节点以序列表示时，图神经网络变体是否能在消息传递过程中保留序列级信息？
• RQ2 与基于池化的 GNN 相比，基于共注意力的消息传递是否能提升多跳自然语言处理任务的推理性能？
• RQ3 GSN 是否能够支持序列标注任务，而这类任务在标准 GNN 因仅输出向量而难以实现？
• RQ4 GSN 在多跳阅读理解与事实验证等复杂推理任务上是否表现更优？
• RQ5 GSN 中的注意力机制在推理过程中是否能揭示有意义的跨句子注意力模式？

主要发现

• 在 FEVER 开发集上，GSN 达到了 74.89% 的准确率（ACC）和 70.51% 的 FEVER 得分，优于基线 GNN 系统（73.72% ACC，69.26% FEVER 得分）。
• 在 FEVER 测试集上，GSN 达到 72.00% 的 ACC 和 67.13% 的 FEVER 得分，分别较基线系统提升 1.20% 和 1.25%。
• 在 HotpotQA 上，GSN 展现出在可解释多跳阅读理解任务中的改进性能，定性注意力热力图显示与答案跨度及桥接实体对齐。
• 可视化结果证实，GSN 会关注关键词元，如 'YG Entertainment' 和 'Y'，表明其具备有效的跨句子推理能力。
• 该模型保留序列级表示的能力使得可行的序列标注成为可能，这是标准 GNN 的固有局限。
• 所提出的共注意力机制能有效捕捉不同长度序列之间的相关信息，即使跨越文档也成立。