[论文解读] Direct Multi-hop Attention based Graph Neural Network

Guangtao Wang, Rex Ying+2 more|arXiv (Cornell University)|Sep 29, 2020

Advanced Graph Neural Networks被引用 22

一句话总结

DAGN 提出了一种新型图神经网络，通过在路径上传播注意力分数，将自注意力机制扩展以捕捉多跳邻域上下文，从而在每一层中实现长距离依赖。该方法在引文网络上实现了最先进性能，相对误差最高降低5.7%，并在知识图谱补全基准测试中取得最先进结果。

ABSTRACT

Introducing self-attention mechanism in graph neural networks (GNNs) achieved state-of-the-art performance for graph representation learning. However, at every layer, attention is only computed between two connected nodes and depends solely on the representation of both nodes. This attention computation cannot account for the multi-hop neighbors which supply graph structure context information and have influence on the node representation learning as well. In this paper, we propose Direct Multi-hop Attention based Graph neural Network (DAGN) for graph representation learning, a principled way to incorporate multi-hop neighboring context into attention computation, enabling long-range interactions at every layer. To compute attention between nodes that are multiple hops away, DAGN diffuses the attention scores from neighboring nodes to non-neighboring nodes, thus increasing the receptive field for every message passing layer. Unlike previous methods, DAGN uses a diffusion prior on attention values, to efficiently account for all paths between the pair of nodes when computing multi-hop attention weights. This helps DAGN capture large-scale structural information in a single layer, and learn more informative attention distribution. Experimental results on standard semi-supervised node classification as well as the knowledge graph completion show that DAGN achieves state-of-the-art results: DAGN achieves up to 5.7% relative error reduction over the previous state-of-the-art on Cora, Citeseer, and Pubmed. DAGN also obtains the best performance on a large-scale Open Graph Benchmark dataset. On knowledge graph completion DAGN advances state-of-the-art on WN18RR and FB15k-237 across four different performance metrics.

研究动机与目标

• 为解决标准图神经网络仅关注直接邻居的局限性，避免因缺少多跳邻居的结构上下文而造成的信息缺失。
• 通过整合节点间所有路径的结构信息，实现在图神经网络中的长距离信息传递。
• 开发一种可微且高效的机制，用于计算多跳路径上的注意力，而无需显式枚举路径。
• 通过在注意力值上引入扩散先验，聚合所有路径上的影响，从而提升节点表征学习能力。
• 在半监督节点分类和知识图谱补全任务中实现最先进性能。

提出的方法

• 引入一种扩散机制，将邻近节点的注意力分数传播至非相邻节点，将感受野扩展至直接边之外。
• 采用注意力权重的扩散先验，聚合节点对之间所有可能路径上的影响，建模多跳依赖关系。
• 通过可学习的扩散矩阵在图中传播注意力分数，计算多跳注意力，避免显式路径枚举。
• 将扩散后的注意力整合进图神经网络的消息传递框架中，使每一层都能在具有结构上下文的前提下关注远距离节点。
• 使用可微注意力机制，结合节点表征与扩散后的注意力，生成增强的节点嵌入。
• 在多层图神经网络架构中应用该方法，使每一层均受益于丰富且具有长距离感知能力的注意力分布。

实验结果

研究问题

• RQ1 是否能在不增加计算复杂度的前提下，有效将多跳结构上下文融入图注意力网络？
• RQ2 在图神经网络中对节点对之间的所有路径建模注意力，如何改善节点表征学习？
• RQ3 所提出的基于扩散的注意力机制在节点分类和知识图谱补全任务中，相较于标准图神经网络及现有多跳方法，性能提升程度如何？
• RQ4 该方法是否能在包括引文网络和大规模知识图谱在内的多种图类型上实现良好泛化？
• RQ5 与基线图神经网络相比，注意力扩散机制是否能生成更鲁棒、更具信息量的节点嵌入？

主要发现

• 在 Cora、Citeseer 和 PubMed 引文网络上，DAGN 相较于之前最先进方法，相对误差最高降低5.7%。
• 在大规模 Open Graph Benchmark 上，DAGN 在所有对比方法中表现最佳。
• 在知识图谱补全任务中，DAGN 在 WN18RR 和 FB15k-237 数据集上，于四项评估指标上均创下新的最先进结果。
• 通过扩散注意力捕捉长距离依赖，模型在节点分类准确率上实现显著提升。
• 基于扩散的注意力机制无需显式路径枚举即可有效建模结构上下文，同时保持计算效率。
• 该方法在多种图类型上泛化能力良好，涵盖直推式和归纳式学习设置。