[论文解读] Multi-hop Attention Graph Neural Network

Guangtao Wang, Zhitao Ying+2 more|arXiv (Cornell University)|Sep 29, 2020

Advanced Graph Neural Networks参考文献 40被引用 35

一句话总结

MAGNA 在 GNNs 中引入基于扩散的多跳注意力机制，使得在大型图邻域中实现上下文相关的注意力，并在节点分类和知识图谱补全任务上达到最新水平的结果。

ABSTRACT

Self-attention mechanism in graph neural networks (GNNs) led to state-of-the-art performance on many graph representation learning tasks. Currently, at every layer, attention is computed between connected pairs of nodes and depends solely on the representation of the two nodes. However, such attention mechanism does not account for nodes that are not directly connected but provide important network context. Here we propose Multi-hop Attention Graph Neural Network (MAGNA), a principled way to incorporate multi-hop context information into every layer of attention computation. MAGNA diffuses the attention scores across the network, which increases the receptive field for every layer of the GNN. Unlike previous approaches, MAGNA uses a diffusion prior on attention values, to efficiently account for all paths between the pair of disconnected nodes. We demonstrate in theory and experiments that MAGNA captures large-scale structural information in every layer, and has a low-pass effect that eliminates noisy high-frequency information from graph data. Experimental results on node classification as well as the knowledge graph completion benchmarks show that MAGNA achieves state-of-the-art results: MAGNA achieves up to 5.7 percent relative error reduction over the previous state-of-the-art on Cora, Citeseer, and Pubmed. MAGNA also obtains the best performance on a large-scale Open Graph Benchmark dataset. On knowledge graph completion MAGNA advances state-of-the-art on WN18RR and FB15k-237 across four different performance metrics.

研究动机与目标

• 通过在直接邻居之外引入多跳上下文信息来激发对 GNN 注意力的改进。
• 提出一种基于扩散的注意力机制，用于在任意两节点之间计算上下文相关的注意力。
• 在保持参数效率的同时实现大规模结构信息处理。
• 在标准节点分类基准和知识图谱补全数据集上展示最新性能。

提出的方法

• 如 GAT 那样计算边级注意力，然后通过扩散算子在所有路径上扩散注意力分数，路径权重衰减。
• 说明扩散得到一个扩散矩阵 A，它结合一跳注意力矩阵的幂次，通过一个稳定的迭代方案（Z^(K) 收敛）近似。
• 使用带层归一化和残差连接的多头注意力扩散层来堆叠 MAGNA 模块。
• 将 MAGNA 与个性化 PageRank 联系起来，表明扩散注意力对应于节点对的 PPR 先验。
• 给出谱分析，显示 MAGNA 充当图的低通滤波器，强调大尺度结构并降低高频噪声。

实验结果

研究问题

• RQ1 通过注意力扩散引入多跳上下文是否能提升 GNN 在节点分类和知识图谱补全任务上的性能？
• RQ2 MAGNA 如何与 PPR 相关，以及对图谱谱特性有何影响？
• RQ3 扩散、层归一化和深层聚合在 MAGNA 中的经验收益与消融效应是什么？

主要发现

• 在 Cora、Citeseer 和 Pubmed 的节点分类任务上，MAGNA 相对此前的最优状态实现最高 5.7% 的相对误差下降。
• MAGNA 在 Open Graph Benchmark (ogbn-arxiv) 上以及知识图谱补全基准（WN18RR 和 FB15k-237）上达到最新的结果。
• 采用 3 层、6 路宽度时，在等效感受野下比 GAT 的 18 层还要高效，表现出更强的效率。
• 消融研究表明扩散和层归一化至关重要，扩散实现多跳上下文，层归一化稳定训练。
• 谱分析表明 MAGNA 放大较小的拉普拉斯特征值（大尺度结构）并抑制较大特征值（噪声）。
• MAGNA 学到的注意力分布比 GAT 更加多样化，表明对重要节点的聚焦能力更强。