[论文解读] An Alternative Surrogate Loss for PGD-based Adversarial Testing

Sven Gowal, Jonathan Uesato+4 more|arXiv (Cornell University)|Oct 21, 2019

Adversarial Robustness in Machine Learning参考文献 28被引用 52

一句话总结

论文介绍 MultiTargeted 攻击，一种基于 PGD 的非目标对抗测试方法，使用多个代理损失来针对所有非真实类别，在 MNIST、CIFAR-10 和 ImageNet 领跑榜上实现最先进的鲁棒性评估。

ABSTRACT

Adversarial testing methods based on Projected Gradient Descent (PGD) are widely used for searching norm-bounded perturbations that cause the inputs of neural networks to be misclassified. This paper takes a deeper look at these methods and explains the effect of different hyperparameters (i.e., optimizer, step size and surrogate loss). We introduce the concept of MultiTargeted testing, which makes clever use of alternative surrogate losses, and explain when and how MultiTargeted is guaranteed to find optimal perturbations. Finally, we demonstrate that MultiTargeted outperforms more sophisticated methods and often requires less iterative steps than other variants of PGD found in the literature. Notably, MultiTargeted ranks first on MadryLab's white-box MNIST and CIFAR-10 leaderboards, reducing the accuracy of their MNIST model to 88.36% (with $\ell_\infty$ perturbations of $ε= 0.3$) and the accuracy of their CIFAR-10 model to 44.03% (at $ε= 8/255$). MultiTargeted also ranks first on the TRADES leaderboard reducing the accuracy of their CIFAR-10 model to 53.07% (with $\ell_\infty$ perturbations of $ε= 0.031$).

研究动机与目标

• 澄清 PGD 超参数（优化器、步长、代理损失）如何影响对抗性测试性能。
• 提出 MultiTargeted 作为一种非目标攻击，使用多个代理损失以改进扰动发现。
• 演示在何种情况下 MultiTargeted 相对于标准 PGD 变体在不同数据集和模型上优越。
• 提供针对稳健性评估对 PGD 基 Attack 的实际调优指南。

提出的方法

• 定义并分析基于 PGD 的对抗性测试，使用不同优化器、代理损失和步长调度。
• 介绍 MultiTargeted，其在每次重启时对每个可能的目标类别使用不同的代理损失。
• 提出一个程序化实现（Algorithm 2），该实现使用单独的代理损失在目标类别之间循环。
• 理论上证明在凸威胁集合和局部线性模型下，MultiTargeted 相对于常规 PGD 更强（定理 3.1 和 3.2）。
• 将 MultiTargeted 与标准 PGD 及集成/组合攻击在 MNIST、CIFAR-10 和 ImageNet 上，在等效计算预算下进行比较。

实验结果

研究问题

• RQ1 在相同计算预算下，多代理、多目标的方法（MultiTargeted）能否超越标准基于 PGD 的非目标攻击？
• RQ2 在何种条件下（凸威胁集合、局部线性性）MultiTargeted 保证找到最优的对抗性扰动？
• RQ3 重启次数、目标类别集合规模和步长调度如何影响在各数据集上的攻击强度？
• RQ4 MultiTargeted 在广泛使用的基准数据集（MNIST、CIFAR-10、ImageNet）相对于最先进攻击的经验表现如何？

主要发现

数据集 / 模型	epsilon	常规 PGD	MultiTargeted	PGD+MT	聚合	最先进（排行榜）
Mnist (Madry et al.)	0.3	88.21%	88.43%	88.36%	88.18%	88.42%
Cifar-10 (Madry et al.)	8/255	44.51%	44.05%	44.03%	44.03%	44.51%
Cifar-10 (Zhang et al.)	0.031	53.70%	53.07%	53.07%	53.05%	53.44%

• MultiTargeted 在 CIFAR-10 和 ImageNet 上通常比常规 PGD 变体具有更强的攻击性能。
• 在 MNIST 上，使用相同计算量时，常规 PGD 可能优于 MultiTargeted，但 MT 仍具备竞争力；MT 与 PGD 变体共同达到最先进的结果。
• MT 能在 MNIST 和 CIFAR-10 领跑榜上达到最先进的鲁棒性评估，在相似预算内比标准 PGD 更降低模型准确率。
• 目标化多损失探索（前 T 个类别）可以显著减少所需步骤，同时保持或提升攻击强度。
• PGD+MT 混合攻击提供边际增益，表明在许多情况下仅 MT 就足以达到顶尖结果。
• 总体而言，MT 对为鲁棒性训练的模型（如 TRADES、UAT）以及深度网络（包括 ImageNet 变体）尤为有效。