[论文解读] Local Augmentation for Graph Neural Networks

Songtao Liu, Ying, Rex+7 more|arXiv (Cornell University)|Sep 8, 2021

Advanced Graph Neural Networks参考文献 62被引用 19

一句话总结

本文提出了一种图神经网络的局部增强方法（LAGNN），这是一种即插即用的数据增强框架，通过学习的生成模型基于中心节点的表征生成合成的邻域特征。在训练过程中注入这些生成的特征后，LAGNN提升了GNN的性能，在Cora、Citeseer和PubMed数据集上分别相对于GCN和GAT实现了平均3.4%和1.6%的测试准确率提升。

ABSTRACT

Graph Neural Networks (GNNs) have achieved remarkable performance on graph-based tasks. The key idea for GNNs is to obtain informative representation through aggregating information from local neighborhoods. However, it remains an open question whether the neighborhood information is adequately aggregated for learning representations of nodes with few neighbors. To address this, we propose a simple and efficient data augmentation strategy, local augmentation, to learn the distribution of the node features of the neighbors conditioned on the central node's feature and enhance GNN's expressive power with generated features. Local augmentation is a general framework that can be applied to any GNN model in a plug-and-play manner. It samples feature vectors associated with each node from the learned conditional distribution as additional input for the backbone model at each training iteration. Extensive experiments and analyses show that local augmentation consistently yields performance improvement when applied to various GNN architectures across a diverse set of benchmarks. For example, experiments show that plugging in local augmentation to GCN and GAT improves by an average of 3.4\% and 1.6\% in terms of test accuracy on Cora, Citeseer, and Pubmed. Besides, our experimental results on large graphs (OGB) show that our model consistently improves performance over backbones. Code is available at https://github.com/SongtaoLiu0823/LAGNN.

研究动机与目标

• 解决GNN在邻域连接稀疏的低度数节点上表达能力有限的问题。
• 通过丰富实际邻居之外的局部邻域信息，提升节点表征学习能力。
• 开发一种通用的、即插即用的数据增强框架，兼容任意GNN架构。
• 通过聚焦于局部、节点条件化的特征生成，克服全局层面数据增强的局限性。
• 通过增强邻域特征的多样性来保持局部性，缓解过平滑问题。

提出的方法

• 预先训练一个条件生成模型，以学习给定中心节点特征时邻接节点特征的分布。
• 在每次训练迭代中，该模型从学习到的条件分布中为该中心节点的邻域采样合成的特征向量。
• 将生成的特征与原始特征拼接后输入主干GNN模型。
• 生成模型与GNN训练解耦，从而可与任意GNN架构实现即插即用的集成。
• 该方法采用类似变分自编码器的框架来建模邻域特征的条件分布。
• 该方法以端到端的自监督方式应用，无需额外标签。

实验结果

研究问题

• RQ1 基于合成邻接特征的局部数据增强是否能提升GNN在低度数节点上的性能？
• RQ2 将邻域特征的生成条件化于中心节点的表征，是否能生成比全局增强更优的节点表征？
• RQ3 即插即用的增强框架是否能在多个基准上持续提升多种GNN架构的性能？
• RQ4 局部增强如何影响深层GNN中的过平滑问题？
• RQ5 该方法是否能泛化到大规模图结构，如开放图基准（OGB）中的图？

主要发现

• 在Cora、Citeseer和PubMed数据集上，LAGNN相较于GCN和GAT分别实现了平均3.4%和1.6%的测试准确率提升。
• 在PubMed数据集中，LAGNN使度数在[2,5]区间的节点测试准确率提升1.7%，度数在[6,20]区间的节点提升0.2%。
• 该方法在半监督节点分类任务中优于现有的拓扑级和特征级增强基线方法，如DropEdge、G-GNN和G aug。
• MADgap指标显示，LAGCN在各层中保持或提升了表征多样性，表明过平滑现象减少。
• 该框架在多种GNN架构（包括GCN、GAT等）上均表现有效，展示了广泛的兼容性和泛化能力。
• 消融实验证实，邻域特征的条件化生成至关重要，随机或无条件增强的效果较差。