[论文解读] FLAG: Adversarial Data Augmentation for Graph Neural Networks

Kezhi Kong, Guohao Li+6 more|arXiv (Cornell University)|May 4, 2021

Advanced Graph Neural Networks参考文献 49被引用 73

一句话总结

FLAG 通过在训练过程中迭代地对节点特征应用基于梯度的对抗性扰动，提出了一种图神经网络的新型数据增强方法，显著提升了多种 GNN 主干网络和任务的泛化能力。在不修改模型架构或训练方式的前提下，FLAG 在 ogbg-molpcba、ogbg-ppa 和 ogbg-code 等大规模图数据集上实现了最先进性能。

ABSTRACT

Data augmentation helps neural networks generalize better, but it remains an open question how to effectively augment graph data to enhance the performance of GNNs (Graph Neural Networks). While most existing graph regularizers focus on augmenting graph topological structures by adding/removing edges, we offer a novel direction to augment in the input node feature space for better performance. We propose a simple but effective solution, FLAG (Free Large-scale Adversarial Augmentation on Graphs), which iteratively augments node features with gradient-based adversarial perturbations during training, and boosts performance at test time. Empirically, FLAG can be easily implemented with a dozen lines of code and is flexible enough to function with any GNN backbone, on a wide variety of large-scale datasets, and in both transductive and inductive settings. Without modifying a model's architecture or training setup, FLAG yields a consistent and salient performance boost across both node and graph classification tasks. Using FLAG, we reach state-of-the-art performance on the large-scale ogbg-molpcba, ogbg-ppa, and ogbg-code datasets.

研究动机与目标

• 为解决图神经网络有效数据增强的挑战，特别是节点特征空间中的数据增强问题。
• 探究输入特征空间中的对抗性扰动是否能够超越拓扑结构增强，进一步提升 GNN 的泛化能力。
• 开发一种简单、即插即用的方法，在不修改模型架构的前提下，提升多种数据集和设置下的 GNN 性能。
• 在大规模图基准测试中，实现归纳学习和直推学习场景下的稳定性能提升。

提出的方法

• FLAG 在训练过程中利用 GNN 模型的梯度信息，对节点特征进行迭代对抗性扰动。
• 其生成的扰动能够最大化模型损失，从而模拟对输入微小变化的鲁棒性。
• 该方法以自由形式应用——对扰动幅度或结构无任何约束，因而具有高度灵活性和可扩展性。
• 扰动仅在训练阶段应用，不改变模型的推理过程或架构。
• 该方法兼容任意 GNN 主干网络，并适用于直推学习和归纳学习两种设置。
• 该增强方法轻量化，仅需十余行代码即可实现。

实验结果

研究问题

• RQ1 在节点特征空间中使用对抗性扰动，是否能比拓扑结构数据增强更有效地提升 GNN 的泛化能力？
• RQ2 一种简单、基于梯度的特征空间增强方法，是否能在多种 GNN 架构和数据集上实现一致的性能提升？
• RQ3 此类方法是否无需修改模型架构或训练流程即可实现通用化应用？
• RQ4 该方法在大规模真实世界图数据集上，在直推学习和归纳学习设置下的表现如何？

主要发现

• FLAG 在不修改模型架构或训练设置的前提下，实现了 ogbg-molpcba 数据集上的最先进性能。
• FLAG 在 ogbg-ppa 和 ogbg-code 上也实现了性能提升，表明其在多种大规模图基准测试中具有持续的增益效果。
• 该方法在节点分类和图分类任务中均实现了稳定且显著的性能提升。
• FLAG 在直推学习和归纳学习设置中均表现有效，展现出广泛的适用性。
• 该方法仅需极少代码修改，且兼容任意 GNN 主干网络。
• 性能提升可归因于通过对抗性特征增强带来的鲁棒性和泛化能力提升。