[论文解读] Certified Robustness of Graph Neural Networks against Adversarial Structural Perturbation

Binghui Wang, Jinyuan Jia+2 more|arXiv (Cornell University)|Aug 24, 2020

Adversarial Robustness in Machine Learning参考文献 73被引用 5

一句话总结

本文提出了一种针对图神经网络（GNNs）在结构扰动下的认证鲁棒性框架，采用专为二值图结构设计的随机平滑方法。该方法为节点分类和图分类任务提供了紧密且形式化证明的鲁棒性保证，在对抗性边编辑下，Cora数据集在5条边扰动时认证准确率最高达0.55，在15条边扰动时达0.49。

ABSTRACT

Graph neural networks (GNNs) have recently gained much attention for node and graph classification tasks on graph-structured data. However, multiple recent works showed that an attacker can easily make GNNs predict incorrectly via perturbing the graph structure, i.e., adding or deleting edges in the graph. We aim to defend against such attacks via developing certifiably robust GNNs. Specifically, we prove the certified robustness guarantee of any GNN for both node and graph classifications against structural perturbation. Moreover, we show that our certified robustness guarantee is tight. Our results are based on a recently proposed technique called randomized smoothing, which we extend to graph data. We also empirically evaluate our method for both node and graph classifications on multiple GNNs and multiple benchmark datasets. For instance, on the Cora dataset, Graph Convolutional Network with our randomized smoothing can achieve a certified accuracy of 0.49 when the attacker can arbitrarily add/delete at most 15 edges in the graph.

研究动机与目标

• 解决GNN对对抗性结构扰动（如边的增删）的关键脆弱性问题。
• 为任意GNN分类器提供一种通用、形式化且紧密的认证鲁棒性保证，以应对此类结构攻击。
• 将图像鲁棒性中的随机平滑技术拓展至二值图数据，实现概率性鲁棒性认证。
• 设计一种实用的计算方法，以应对图空间中高维与组合性挑战，实现认证扰动规模的计算。
• 在多种GNN架构和基准数据集上，对节点分类与图分类任务进行实证验证。

提出的方法

• 通过将图边建模为二值向量，并对输入应用随机噪声（边翻转）的方式，将随机平滑方法适配至二值图结构。
• 基于标签预测结果在图空间中定义不相交区域，以应用Neyman-Pearson引理进行鲁棒性认证中的统计假设检验。
• 推导出一个认证扰动规模$K$，使得平滑后的GNN在任意最多$K$条边的结构扰动下仍预测相同标签。
• 采用同时置信区间估计（Jia et al., 2020a）方法，对扰动下标签预测的概率边界进行估计，并提供概率保证。
• 设计一种优化算法，利用估计的概率边界计算可能的最紧致认证扰动规模。
• 利用精确的组合公式计算$\text{Pr}(X \in \mathcal{R}(w,v))$和$\text{Pr}(Y \in \mathcal{R}(w,v))$，其中区域由原始图与扰动图之间的汉明距离定义。

实验结果

研究问题

• RQ1 我们能否为任意GNN提供一种通用、紧密且形式化可证明的认证鲁棒性保证，以应对结构扰动？
• RQ2 随机平滑如何有效扩展至离散的二值图数据？在标准平滑技术不适用的场景下，如何实现？
• RQ3 在高置信度下，平滑后的GNN能保持鲁棒性的最大边扰动数$K$是多少？
• RQ4 该认证鲁棒性性能在不同GNN架构和真实世界图数据集上的扩展性如何？
• RQ5 所推导的认证鲁棒性边界是否足够紧密？即在相同条件下，是否无法再证明更大的$K$值？

主要发现

• 在Cora数据集中，当攻击者最多可修改5条边时，该方法实现了0.55的认证准确率。
• 在相同的Cora数据集中，该方法对多达10次对抗性边扰动仍保持0.50的认证准确率。
• 在Cora数据集上，对于15条边的扰动，认证准确率仍维持在0.49，表明在显著结构变化下仍具备鲁棒性。
• 该方法提供了紧密的认证鲁棒性保证，即在不增加额外假设的前提下，无法再证明更大的扰动规模。
• 实证评估证实，该方法在多种GNN（GCN、GAT、GIN）和数据集（Cora、Citeseer、Pubmed、MUTAG、PROTEINS、IMDB）上均具有效果。
• 尽管图空间具有组合复杂性，通过置信区间估计与定制化优化，认证扰动规模的计算在实践中是可行的。