[论文解读] Graph Attention Retrospective

Kimon Fountoulakis, Amit Levi+3 more|arXiv (Cornell University)|Feb 26, 2022

Advanced Graph Neural Networks被引用 13

一句话总结

本文针对具有高斯混合特征的上下文随机块模型中的节点分类任务，对图注意力网络（GAT）进行了理论分析。结果表明，在‘简单’区域（类别均值充分分离）中，GAT 能够区分类内与类间边，从而实现完美分类；在类均值分离较小的‘困难’区域中，所有注意力机制均失效，GAT 退化为类似图卷积的均匀注意力权重。

ABSTRACT

Graph-based learning is a rapidly growing sub-field of machine learning with applications in social networks, citation networks, and bioinformatics. One of the most popular models is graph attention networks. They were introduced to allow a node to aggregate information from features of neighbor nodes in a non-uniform way, in contrast to simple graph convolution which does not distinguish the neighbors of a node. In this paper, we theoretically study the behaviour of graph attention networks. We prove multiple results on the performance of the graph attention mechanism for the problem of node classification for a contextual stochastic block model. Here, the node features are obtained from a mixture of Gaussians and the edges from a stochastic block model. We show that in an "easy" regime, where the distance between the means of the Gaussians is large enough, graph attention is able to distinguish inter-class from intra-class edges. Thus it maintains the weights of important edges and significantly reduces the weights of unimportant edges. Consequently, we show that this implies perfect node classification. In the "hard" regime, we show that every attention mechanism fails to distinguish intra-class from inter-class edges. In addition, we show that graph attention convolution cannot (almost) perfectly classify the nodes even if intra-class edges could be separated from inter-class edges. Beyond perfect node classification, we provide a positive result on graph attention's robustness against structural noise in the graph. In particular, our robustness result implies that graph attention can be strictly better than both the simple graph convolution and the best linear classifier of node features. We evaluate our theoretical results on synthetic and real-world data.

研究动机与目标

• 理论理解图注意力机制在节点分类任务中何时以及为何成功或失败。
• 分析在具有高斯分布节点特征的上下文随机块模型（CSBM）下 GAT 的性能。
• 确定 GAT 能够区分类内与类间边的条件，从而实现完美分类。
• 研究 GAT 对结构噪声的鲁棒性，并与图卷积和线性分类器进行性能比较。
• 建立注意力机制在低分离度（困难）区域中的理论极限，证明其普遍无法区分边类型。

提出的方法

• 在两类上下文随机块模型（CSBM）上进行理论分析，其中节点特征从高斯混合分布中抽取，边遵循随机块模型。
• 注意力机制采用两层多层感知机（MLP）架构，包含查询、键和值的投影，以及经过 softmax 归一化的注意力分数。
• 利用集中不等式和高斯尾部界限，分析在不同均值分离度（κσ）下注意力系数的行为。
• 分析区分‘简单’区域（大 κσ）和‘困难’区域（小 κσ），证明在前者中注意力系数发散，而在后者中则一致收敛。
• 通过引入结构噪声并分析扰动下的注意力行为，评估鲁棒性，结果表明 GAT 在性能上优于 GCN 和线性分类器。
• 利用注意力分数和分类准确率的高概率界推导理论保证，依赖于测度集中和切尔诺夫型界限。

实验结果

研究问题

• RQ1 在何种条件下，图注意力网络能够在 CSBM 中区分类内与类间边？
• RQ2 当类别均值充分分离时，图注意力能否在‘简单’区域实现完美节点分类？
• RQ3 为何即使边信息完美，注意力机制在‘困难’区域仍会失效？
• RQ4 在结构噪声下，图注意力相对于图卷积和线性分类器的表现如何？
• RQ5 当节点特征均值接近时，即使边信息理想，GAT 是否仍能保持高性能？

主要发现

• 在‘简单’区域（κ ≥ √(2 log n)），采用两层 MLP 注意力机制的 GAT 以高概率实现完美节点分类。
• 在‘困难’区域（κ = O(1)），所有注意力机制以高概率无法区分类内与类间边。
• 当 κ = ω(1) 时，至少 1−o(1) 的节点被正确分类；当 κ = O(1) 时，至少 Φ(κ)−o(1) 的节点被正确分类。
• 在困难区域中，原始 GAT 架构分配几乎均匀的注意力权重，行为类似于标准图卷积。
• 即使边信息完美，当均值分离较小时（κ = O(1)），GAT 也无法近乎完美地分类节点。
• 图注意力在鲁棒性上严格优于图卷积和节点特征的最佳线性分类器，尤其在结构噪声下表现更优。