[论文解读] Adversarial Defense Framework for Graph Neural Network

Shen Wang, Zhengzhang Chen+5 more|arXiv (Cornell University)|May 9, 2019

Adversarial Robustness in Machine Learning参考文献 22被引用 21

一句话总结

本文提出DefNet，一种针对图神经网络（GNNs）的新型对抗性防御框架，通过双阶段聚合与瓶颈感知器，解决层特定的脆弱性问题，同时利用基于条件生成对抗性对比学习的方法增强鲁棒性。实验表明，DefNet在各类攻击下显著提升了GNN的鲁棒性，在FGSM攻击下准确率最高可达65%，而标准GNN的准确率则降至3%。

ABSTRACT

Graph neural network (GNN), as a powerful representation learning model on graph data, attracts much attention across various disciplines. However, recent studies show that GNN is vulnerable to adversarial attacks. How to make GNN more robust? What are the key vulnerabilities in GNN? How to address the vulnerabilities and defense GNN against the adversarial attacks? In this paper, we propose DefNet, an effective adversarial defense framework for GNNs. In particular, we first investigate the latent vulnerabilities in every layer of GNNs and propose corresponding strategies including dual-stage aggregation and bottleneck perceptron. Then, to cope with the scarcity of training data, we propose an adversarial contrastive learning method to train the GNN in a conditional GAN manner by leveraging the high-level graph representation. Extensive experiments on three public datasets demonstrate the effectiveness of DefNet in improving the robustness of popular GNN variants, such as Graph Convolutional Network and GraphSAGE, under various types of adversarial attacks.

研究动机与目标

• 识别并解决GNN层中潜在的脆弱性，特别是聚合与感知器组件中的问题。
• 克服图数据中离散对抗空间带来的挑战，该挑战阻碍了有效的对抗性数据增强。
• 提升GNN对各类对抗性攻击的鲁棒性，包括结构扰动与特征扰动。
• 开发一种可扩展的防御框架，适用于GCN和GraphSAGE等主流GNN变体。

提出的方法

• 引入双阶段聚合，通过解耦邻域信息传递，稳定节点表示学习。
• 采用瓶颈感知器，降低输入维度，缓解高维输入带来的对抗脆弱性。
• 提出对抗性对比学习（ACL），将对抗性训练建模为条件生成对抗网络（conditional GAN），并利用高层图表示作为辅助监督信号。
• 利用高层图表示，指导生成有效且具有图结构特性的对抗性样本，用于数据增强。
• 以条件生成对抗网络的方式训练GNN，其中生成器根据图的高层结构生成对抗性样本。
• 将GER（图编码器精炼）模块与ACL（对抗性对比学习）模块整合为统一的防御框架DefNet。

实验结果

研究问题

• RQ1 GNN中的关键架构脆弱性是什么，使其容易受到对抗性攻击？
• RQ2 如何有效适应对抗性训练以处理具有组合结构的离散图数据？
• RQ3 能否利用条件生成对抗网络为图数据生成有意义的对抗性样本，以提升模型鲁棒性？
• RQ4 所提出的防御框架与标准对抗性训练及基线防御方法相比，在真实世界图数据集上的表现如何？
• RQ5 DefNet在不同GNN变体上，对各类攻击类型的鲁棒性提升程度如何？

主要发现

• DefNet显著提升了GNN的鲁棒性，在Cora数据集上，FGSM攻击下的准确率达到65%，而标准GCN仅达3%。
• ACL模块在所有数据集和GNN变体上均优于传统对抗性训练与噪声对比学习方法。
• 双阶段聚合与瓶颈感知器提升了模型稳定性，并降低了对高维输入扰动的脆弱性。
• 在Polblogs数据集中，RGCN结合ACL在攻击下达到74%的准确率，而标准RGCN仅为18%，展现出强大的防御性能。
• 该框架在多种GNN变体（包括GCN和GraphSage）上均保持高性能，无论面对目标攻击还是非目标攻击。
• 消融实验表明，GER与ACL模块均对整体防御性能有显著贡献，二者结合时取得最佳效果。