[论文解读] Graph Adversarial Training: Dynamically Regularizing Based on Graph Structure

Fuli Feng, Xiangnan He+2 more|arXiv (Cornell University)|Feb 20, 2019

Advanced Graph Neural Networks参考文献 53被引用 30

一句话总结

本文提出图对抗训练（Graph Adversarial Training, GraphAT），一种动态正则化方法，通过生成专门针对图平滑性约束的对抗性扰动来增强图神经网络的鲁棒性——即最大化节点与其邻居之间的预测差异。通过联合优化标准监督与对抗性正则化，GraphAT 提升了泛化能力，在引文图与知识图上相较标准 GCN 训练平均提升 4.51% 的准确率。

ABSTRACT

Recent efforts show that neural networks are vulnerable to small but intentional perturbations on input features in visual classification tasks. Due to the additional consideration of connections between examples (\eg articles with citation link tend to be in the same class), graph neural networks could be more sensitive to the perturbations, since the perturbations from connected examples exacerbate the impact on a target example. Adversarial Training (AT), a dynamic regularization technique, can resist the worst-case perturbations on input features and is a promising choice to improve model robustness and generalization. However, existing AT methods focus on standard classification, being less effective when training models on graph since it does not model the impact from connected examples. In this work, we explore adversarial training on graph, aiming to improve the robustness and generalization of models learned on graph. We propose Graph Adversarial Training (GraphAT), which takes the impact from connected examples into account when learning to construct and resist perturbations. We give a general formulation of GraphAT, which can be seen as a dynamic regularization scheme based on the graph structure. To demonstrate the utility of GraphAT, we employ it on a state-of-the-art graph neural network model --- Graph Convolutional Network (GCN). We conduct experiments on two citation graphs (Citeseer and Cora) and a knowledge graph (NELL), verifying the effectiveness of GraphAT which outperforms normal training on GCN by 4.51% in node classification accuracy. Codes are available via: https://github.com/fulifeng/GraphAT.

研究动机与目标

• 解决图神经网络（GNNs）对节点特征上小范围、有针对性扰动的脆弱性，这种脆弱性在图平滑性约束下被加剧。
• 认识到标准对抗训练在图上失效，因其忽略了相连节点之间的关系依赖。
• 开发一种显式建模扰动对邻居节点影响的方法，以提升图学习中的鲁棒性与泛化能力。
• 提出一种基于图结构的动态正则化方案，用于指导对抗样本生成与模型优化。
• 在真实世界图数据集上验证 GraphAT 的有效性，表明其在性能与鲁棒性方面优于标准方法与现有对抗训练方法。

提出的方法

• 提出 GraphAT 作为一种通用框架，通过在扰动生成过程中建模相连节点的影响，将对抗训练与图结构相结合。
• 定义图对抗正则项，以最小化扰动节点与其邻居之间的预测差异，从而强制实现结构平滑性。
• 将对抗攻击形式化为最大化节点预测与其邻居预测之间的差异，从而针对性地攻击图平滑性约束。
• 通过反向传播的线性近似高效计算对抗性扰动，避免使用完整的二阶梯度。
• 将图对抗正则项整合到标准 GCN 训练目标中，实现监督损失与对抗损失的端到端联合优化。
• 将该方法应用于最先进 GCN 模型，在干净样本与对抗性扰动样本上联合训练，以提升鲁棒性。

实验结果

研究问题

• RQ1 能否通过考虑节点之间的关系依赖，有效将对抗训练适配于图神经网络？
• RQ2 在对抗样本生成中引入图结构是否能提升节点分类任务中的鲁棒性与泛化能力？
• RQ3 GraphAT 在性能与鲁棒性方面相较于标准对抗训练及其他正则化技术（如 VAT）表现如何？
• RQ4 GraphAT 在多大程度上减少了相连节点之间的预测差异，从而增强结构平滑性？
• RQ5 GraphAT 是否在提升模型鲁棒性的同时保持了训练收敛速度？

主要发现

• 在三个基准数据集（Citeseer、Cora 和 NELL）上，GraphAT 相较于标准 GCN 训练，平均提升 4.51% 的节点分类准确率。
• 在 ε = 0.01 的对抗样本上，GCN 平均准确率下降 13.9%，而 GraphAT 仅下降 2.9%，表明其具有显著增强的鲁棒性。
• GraphAT 降低了相连节点对预测结果的 Kullback-Leibler 散度——Citeseer 上降低 3.8%，Cora 上降低 10.4%，表明结构平滑性更强。
• GraphAT 优于使用虚拟对抗训练（VAT）的训练方式，证明图结构感知的对抗正则化比标准对抗训练在图上更具有效性。
• GraphAT 在训练初期即加速性能提升，可能源于对抗样本带来的数据增强，而不仅依赖正则化本身。
• GraphAT 并未减慢收敛速度，训练准确率在 100 个 epoch 后即稳定，与标准 GCN 相当。