[论文解读] Adversarial Attacks on Graph Neural Networks via Meta Learning

Daniel Zügner, Stephan Günnemann|arXiv (Cornell University)|Feb 22, 2019

Adversarial Robustness in Machine Learning被引用 368

一句话总结

该论文提出了一种针对图神经网络节点分类的训练时中毒攻击，使用元梯度，将图视为要优化的超参数。结果表明，较小、受限的图扰动可以显著降低性能，并可在模型和任务之间转移。

ABSTRACT

Deep learning models for graphs have advanced the state of the art on many tasks. Despite their recent success, little is known about their robustness. We investigate training time attacks on graph neural networks for node classification that perturb the discrete graph structure. Our core principle is to use meta-gradients to solve the bilevel problem underlying training-time attacks, essentially treating the graph as a hyperparameter to optimize. Our experiments show that small graph perturbations consistently lead to a strong decrease in performance for graph convolutional networks, and even transfer to unsupervised embeddings. Remarkably, the perturbations created by our algorithm can misguide the graph neural networks such that they perform worse than a simple baseline that ignores all relational information. Our attacks do not assume any knowledge about or access to the target classifiers.

研究动机与目标

• 在无法访问目标模型的情况下，演示针对图神经网络进行节点分类的训练时（中毒）攻击。
• 开发基于元学习的方法，将图结构作为超参数进行优化，以最大化攻击效果。
• 证明较小且受限的扰动会削弱性能，并对不同模型和任务具有迁移性。

提出的方法

• 将中毒表述为双层优化，在训练后对图进行扰动以最大化攻击者损失。
• 使用元梯度计算图的改变如何影响训练好的模型的性能。
• 放宽离散性以实现基于梯度的更新，并应用贪婪的逐边评分规则以保持稀疏性。
• 使用一个代理的两层 GCN 风格模型，并在多个数据集（Cora-ML, Citeseer, PolBlogs）上评估攻击。
• 考虑两种攻击者损失：负训练损失和负自标记损失（传导设置）。
• 提供一阶元梯度近似以降低计算开销，同时保持攻击效果。

实验结果

研究问题

• RQ1 在无法访问目标模型的情况下，中毒攻击是否会降低图中全局节点分类的性能？
• RQ2 是否可以利用元梯度高效地识别能恶化训练结果的图扰动？
• RQ3 攻击是否能在不同的图神经网络和评估任务（有监督和无监督）之间转移？

主要发现

• 基于元梯度的攻击在跨数据集和模型的未标记节点上显著提高错分率。
• 自我训练协同（Meta-Self）在测试的变体中导致最严重的性能下降。
• 近似元梯度方法（内存高效）常常达到或超过基线并保持有效。
• 在信息有限的情形下（子图），攻击仍然具有强效，并且可以迁移到未见过的模型。
• 攻击甚至可能让性能低于仅图的基线，凸显了训练动态是主要的失败向量。