[论文解读] Black-box Gradient Attack on Graph Neural Networks: Deeper Insights in Graph-based Attack and Defense

Haoxi Zhan, Xiaobing Pei|arXiv (Cornell University)|Apr 30, 2021

Advanced Graph Neural Networks参考文献 39被引用 6

一句话总结

本文提出黑盒梯度攻击（BBGA），这是首个无需访问训练数据、模型参数或基于查询反馈的图神经网络梯度黑盒攻击方法。通过利用谱聚类生成伪标签，并结合k折贪心策略，BBGA在图上实现了更均匀的扰动分布，在不依赖训练集的情况下，其误分类率优于现有方法。

ABSTRACT

Graph Neural Networks (GNNs) have received significant attention due to their state-of-the-art performance on various graph representation learning tasks. However, recent studies reveal that GNNs are vulnerable to adversarial attacks, i.e. an attacker is able to fool the GNNs by perturbing the graph structure or node features deliberately. While being able to successfully decrease the performance of GNNs, most existing attacking algorithms require access to either the model parameters or the training data, which is not practical in the real world. In this paper, we develop deeper insights into the Mettack algorithm, which is a representative grey-box attacking method, and then we propose a gradient-based black-box attacking algorithm. Firstly, we show that the Mettack algorithm will perturb the edges unevenly, thus the attack will be highly dependent on a specific training set. As a result, a simple yet useful strategy to defense against Mettack is to train the GNN with the validation set. Secondly, to overcome the drawbacks, we propose the Black-Box Gradient Attack (BBGA) algorithm. Extensive experiments demonstrate that out proposed method is able to achieve stable attack performance without accessing the training sets of the GNNs. Further results shows that our proposed method is also applicable when attacking against various defense methods.

研究动机与目标

• 探究现有灰盒攻击（如Mettack）的局限性，这些方法严重依赖训练集信息，且产生不均匀的扰动。
• 开发一种无需访问模型参数、训练数据或基于查询反馈的黑盒攻击方法，以实现实际的对抗性攻击。
• 设计一种基于谱聚类生成的伪标签的替代模型训练策略，以在黑盒设置下实现基于梯度的优化。
• 评估BBGA对多种防御机制（包括GCN-Jaccard、R-GCN和Pro-GNN）的鲁棒性。
• 通过分析对抗性扰动的空间分布及其对训练数据的依赖性，深入揭示图神经网络的脆弱性。

提出的方法

• 使用固定gamma参数（γ = 0.001）的谱聚类将节点划分为k个簇，从而在无真实标签的情况下生成伪标签。
• 应用k折贪心策略选择用于元梯度计算的分区，确保图中扰动方向的多样性和有效性。
• 在伪标签数据上训练替代模型，以近似结构扰动的梯度，从而在缺乏真实标签的情况下实现基于梯度的优化。
• 引入过滤机制，排除梯度更新过程中方差较低的节点对，提升攻击效率与稳定性。
• 采用元梯度更新规则，结合多个分区的梯度以指导边的修改，确保扰动分布均匀。
• 采用扰动率控制机制，设置T=100次迭代与η=0.01，以平衡攻击强度与模型泛化能力。

实验结果

研究问题

• RQ1 现有灰盒攻击（如Mettack）在图上的扰动分布如何？其不均匀性有何影响？
• RQ2 能否在不访问训练数据、模型参数或基于查询反馈的情况下，开发一种基于梯度的黑盒攻击？
• RQ3 利用谱聚类生成的伪标签是否能有效支持替代模型训练，以实现黑盒攻击？
• RQ4 所提出的BBGA方法在面对GCN-Jaccard、R-GCN和Pro-GNN等防御机制时表现如何？
• RQ5 关键超参数（如k（分区数量）和过滤低方差边）对攻击性能有何影响？

主要发现

• Mettack攻击产生的扰动分布不均，其密集区域集中在训练集附近，表明其对特定训练集划分高度依赖。
• 仅在验证集上训练GNN可显著提升对Mettack攻击的鲁棒性，表明这是一种简单但有效的防御策略。
• 在多个实验设置中，BBGA在攻击原始GCN模型时，误分类率比基线方法高出20%。
• BBGA在Cora、Citeseer和Cora-ML数据集上，对干净模型和防御模型（包括R-GCN和Pro-GNN）的攻击表现优于所有基线方法。
• 消融研究显示，k折贪心选择与低方差节点对的过滤对实现高攻击性能至关重要。
• 参数分析表明，攻击性能随k值增加至某一临界点后趋于饱和，k=5在性能与训练时间之间提供了最佳平衡。