[论文解读] Graph Attention Networks

Petar Veličković, Guillem Cucurull+4 more|arXiv (Cornell University)|Oct 30, 2017

Advanced Graph Neural Networks被引用 8,277

一句话总结

本文提出了图注意力网络（GATs），一种新颖的图神经网络架构，利用可学习的自注意力机制在消息传递过程中动态分配邻居节点的不同权重。通过在无需预先知晓图结构的情况下对节点邻域应用掩码多头注意力，GATs在半监督和归纳性节点分类基准测试中取得了最先进性能，涵盖Cora、Citeseer、PubMed以及一个包含未见图的蛋白质-蛋白质相互作用数据集。

ABSTRACT

We present graph attention networks (GATs), novel neural network architectures that operate on graph-structured data, leveraging masked self-attentional layers to address the shortcomings of prior methods based on graph convolutions or their approximations. By stacking layers in which nodes are able to attend over their neighborhoods' features, we enable (implicitly) specifying different weights to different nodes in a neighborhood, without requiring any kind of costly matrix operation (such as inversion) or depending on knowing the graph structure upfront. In this way, we address several key challenges of spectral-based graph neural networks simultaneously, and make our model readily applicable to inductive as well as transductive problems. Our GAT models have achieved or matched state-of-the-art results across four established transductive and inductive graph benchmarks: the Cora, Citeseer and Pubmed citation network datasets, as well as a protein-protein interaction dataset (wherein test graphs remain unseen during training).

研究动机与目标

• 解决基于谱的图神经网络对固定图结构的依赖性以及高昂的矩阵运算开销的问题。
• 开发一种完全可微、高效且归纳性的图结构数据消息传递机制。
• 使模型能够在不预先知晓图结构的情况下，为邻域中的不同邻居分配不同的重要性。
• 在半监督和归纳性节点分类任务中提升性能，尤其是在未见图上表现更优。
• 探索注意力机制在捕捉不规则图领域结构依赖关系方面的优势。

提出的方法

• 提出图注意力层，利用共享的可学习参数矩阵计算节点与其邻居之间的注意力系数。
• 应用掩码多头注意力以稳定训练过程，并使模型能够关注特征表示的不同子空间。
• 采用Softmax归一化的注意力机制计算邻居特征的加权和，实现动态、自适应的聚合。
• 堆叠多层图注意力层以学习深层层次化表征，并通过残差连接提升训练稳定性。
• 在边之间采用参数共享机制，使模型具备可扩展性和并行处理能力。
• 提出恒定注意力变体（Const-GAT），用于消融分析可学习注意力权重的贡献。

实验结果

研究问题

• RQ1 自注意力机制能否被有效适配于图结构化数据，以提升节点表征学习效果？
• RQ2 在邻居上学习动态注意力权重是否能带来优于GCN等固定聚合方案的性能提升？
• RQ3 该模型能否泛化到归纳性任务，包括训练过程中未见过的图？
• RQ4 注意力机制如何提升图神经网络的可解释性与特征学习能力？
• RQ5 多头注意力对模型性能与鲁棒性有何影响？

主要发现

• 在Cora引文网络上，GAT取得了83.0 ± 0.7%的F1分数，比GCN高出1.5%，达到最先进性能。
• 在Citeseer上，GAT取得72.5 ± 0.7%的F1分数，较GCN提升1.6%，证明了自适应邻居加权的优势。
• 在PubMed上，GAT与GCN性能相当，达到79.0 ± 0.3%，证实其在大规模引文网络中的强大表现。
• 在归纳性PPI数据集上，GAT达到97.3 ± 0.002%的准确率，较最佳GraphSAGE结果提升20.5%，较恒定注意力基线（Const-GAT）提升3.9%。
• 使用t-SNE可视化特征表示显示出清晰的类别聚类，表明具备强大的判别能力。
• 消融实验确认注意力机制至关重要，恒定注意力变体（Const-GAT）显著低于完整GAT模型的性能。