[论文解读] Adversarial Immunization for Improving Certifiable Robustness on Graphs

Shuchang Tao, Huawei Shen+3 more|arXiv (Cornell University)|Jul 19, 2020

HIV, Drug Use, Sexual Risk被引用 1

一句话总结

本文提出 AdvImmune，一种双层优化框架，通过免疫图中少量节点对来增强对对抗攻击的可认证鲁棒性。通过高效计算离散元梯度，AdvImmune 在引用网络和社会网络上仅使用 5% 的边免疫预算，将鲁棒节点比例提升了 12% 至 65%。

ABSTRACT

Despite achieving strong performance in the semi-supervised node classification task, graph neural networks (GNNs) are vulnerable to adversarial attacks, similar to other deep learning models. Existing research works either focus on developing robust GNN models or attack detection methods against attacks on graphs. However, little research attention is paid to the potential and practice of immunization to adversarial attacks on graphs. In this paper, we formulate the problem of graph adversarial immunization as a bilevel optimization problem, i.e., vaccinating an affordable fraction of node pairs, connected or unconnected, to improve the certifiable robustness of the graph against any admissible adversarial attack. We further propose an efficient algorithm, called AdvImmune, which optimizes meta-gradient in a discrete way to circumvent the computationally expensive combinatorial optimization when solving the adversarial immunization problem. Experiments are conducted on two citation networks and one social network. Experimental results demonstrate that the proposed AdvImmune immunization method remarkably improves the fraction of robust nodes by 12%, 42%, 65%, with an affordable immune budget of only 5% edges.

研究动机与目标

• 为解决图神经网络（GNNs）在图免疫背景下对对抗攻击的脆弱性问题，该问题目前仍研究不足。
• 将图对抗免疫形式化为双层优化问题，通过有限数量的节点对免疫以最大化鲁棒性。
• 开发一种高效算法，通过利用离散元梯度计算避免昂贵的组合优化。
• 在真实世界图数据集上提升可认证鲁棒性——确保模型预测在任何允许的对抗扰动下保持稳定。

提出的方法

• 将对抗免疫形式化为双层优化问题：上层选择免疫的节点对，下层在对抗扰动下训练鲁棒 GNN。
• 提出一种离散元梯度计算策略，以高效优化上层目标，而无需求解难以处理的组合子问题。
• 使用可微分代理替代下层鲁棒训练，从而支持对免疫策略进行基于梯度的更新。
• 将方法应用于连通与非连通节点对，实现图结构中灵活的免疫策略。
• 在受限预算（如 5% 的边）下优化免疫策略，确保实际可部署性。
• 利用图 GNN 的结构特性，计算反映免疫如何影响鲁棒性认证的梯度。

实验结果

研究问题

• RQ1 对少量、有策略选择的节点对进行免疫，是否能显著提升图上 GNN 的可认证鲁棒性？
• RQ2 如何在不依赖昂贵组合搜索的情况下，高效地形式化与优化对抗免疫？
• RQ3 对连通与非连通节点对进行免疫，对鲁棒性提升有何影响？
• RQ4 在有限免疫预算下，所提方法在鲁棒性增益方面与现有方法相比如何？

主要发现

• AdvImmune 在真实世界引用网络和社会网络上，仅使用 5% 的边免疫预算，即可将可认证鲁棒节点的比例提升高达 65%。
• 该方法在所有测试数据集上均表现出一致的鲁棒性增益，在不同网络上分别实现了 12%、42% 和 65% 的提升。
• 离散元梯度计算实现了高效优化，避免了完整组合搜索的计算不可行性。
• 对非连通节点对的免疫对鲁棒性有显著贡献，表明结构免疫并不仅限于现有边。
• 即使在强对抗攻击下，该方法仍保持优异性能，证明了其鲁棒性认证的有效性。
• 结果验证了免疫是一种可行且有效的策略，可超越模型架构或基于检测的防御手段，显著提升 GNN 的鲁棒性。