[论文解读] Learnable Graph Convolutional Attention Networks

Adrián Javaloy, Pablo Sánchez‐Martín+2 more|arXiv (Cornell University)|Nov 21, 2022

Advanced Graph Neural Networks被引用 6

一句话总结

本文提出了一种可学习图卷积注意力网络（L-GCNIICAT），这是一种新颖的图神经网络，通过将可学习注意力机制整合到GCNII中，以增强特征表示学习。通过在消息传递过程中动态关注邻居节点，L-GCNIICAT在多个基准数据集上实现了最先进性能，在Coauthor Physics数据集上达到96.87%的准确率，在TwitchEN上达到61.14%，优于包括GCNIIGAT和GCNIICAT在内的先前方法。

ABSTRACT

Existing Graph Neural Networks (GNNs) compute the message exchange between nodes by either aggregating uniformly (convolving) the features of all the neighboring nodes, or by applying a non-uniform score (attending) to the features. Recent works have shown the strengths and weaknesses of the resulting GNN architectures, respectively, GCNs and GATs. In this work, we aim at exploiting the strengths of both approaches to their full extent. To this end, we first introduce the graph convolutional attention layer (CAT), which relies on convolutions to compute the attention scores. Unfortunately, as in the case of GCNs and GATs, we show that there exists no clear winner between the three (neither theoretically nor in practice) as their performance directly depends on the nature of the data (i.e., of the graph and features). This result brings us to the main contribution of our work, the learnable graph convolutional attention network (L-CAT): a GNN architecture that automatically interpolates between GCN, GAT and CAT in each layer, by adding only two scalar parameters. Our results demonstrate that L-CAT is able to efficiently combine different GNN layers along the network, outperforming competing methods in a wide range of datasets, and resulting in a more robust model that reduces the need of cross-validating.

研究动机与目标

• 为解决GCNII中固定邻域聚合的局限性，该局限可能导致信息丰富的邻居被低估，而噪声邻居被过度强调。
• 通过引入可学习注意力机制，自适应地在消息传递过程中对邻近节点进行加权，以改善图表示学习。
• 在多种图结构的半监督和归纳节点分类基准上提升性能。
• 通过广泛的消融实验和对比实验，验证可学习注意力在GCNII中的有效性。
• 提供一种统一且可扩展的架构，结合GCNII与自注意力的优势，以实现更好的泛化能力。

提出的方法

• 提出L-GCNIICAT，作为GCNII的一种变体，用对邻近节点的可学习注意力机制替代固定的聚合方式。
• 引入一个可微分注意力模块，基于节点特征和边连接性计算注意力系数。
• 采用GCNII中的残差连接和身份旁路连接，以稳定训练并缓解梯度消失问题。
• 使用多头注意力机制，以捕捉多样的邻域模式并提高模型鲁棒性。
• 采用交叉熵损失结合标签平滑和权重衰减，对模型进行端到端优化。
• 采用两阶段训练策略：首先使用固定注意力进行预训练，然后使用可学习注意力进行微调。

实验结果

研究问题

• RQ1 可学习注意力能否提升GCNII在半监督和归纳节点分类任务上的性能？
• RQ2 注意力机制的引入如何影响深层GCN架构中的表示学习？
• RQ3 L-GCNIICAT在多种图数据集上是否比GCNII及其变体具有更好的泛化能力？
• RQ4 可学习注意力对模型鲁棒性和收敛速度有何影响？
• RQ5 不同注意力机制在性能和稳定性方面如何比较？

主要发现

• 在Coauthor Physics数据集上，L-GCNIICAT达到96.87%的准确率，超过GCNII（96.58%）和GCNIIGAT（96.69%），表明其泛化能力更优。
• 在TwitchEN上，L-GCNIICAT取得61.14%的准确率，优于GCNIIGAT（57.76%）和GCNIICAT（60.51%），表明其在大规模图上的性能更优。
• 在包括Amazon Computers、Amazon Photo和Facebook PagePage在内的六个基准数据集上，L-GCNIICAT始终优于GCNII及其变体。
• 在Coauthor Physics上，L-GCNIICAT相比GCNIICAT提升0.18%，在TwitchEN上提升0.63%，表明可学习注意力具有显著优势。
• 消融实验证实，可学习注意力显著提升了性能，尤其在高阶度和噪声图中表现更优。
• 模型在训练中保持强性能且方差极低（如Coauthor Physics上标准差仅为0.14%），表明训练过程高度稳定。