[论文解读] Bridging the Performance Gap between FGSM and PGD Adversarial Training

Tianjin Huang, Vlado Menkovski+2 more|arXiv (Cornell University)|Nov 7, 2020

Adversarial Robustness in Machine Learning参考文献 26被引用 11

一句话总结

本文提出 adv.FGSMR，一种基于曲率正则化的对抗训练方法，通过在 FGSM 方向最小化曲率，使 FGSM 的鲁棒性提升至与 PGD 相当的水平，同时将训练时间减半。该方法通过对齐 FGSM 与 PGD 的扰动方向，显著提升了在 CIFAR-10 上的鲁棒性，并展现出对可迁移攻击的强大防御能力。

ABSTRACT

Deep learning achieves state-of-the-art performance in many tasks but exposes to the underlying vulnerability against adversarial examples. Across existing defense techniques, adversarial training with the projected gradient decent attack (adv.PGD) is considered as one of the most effective ways to achieve moderate adversarial robustness. However, adv.PGD requires too much training time since the projected gradient attack (PGD) takes multiple iterations to generate perturbations. On the other hand, adversarial training with the fast gradient sign method (adv.FGSM) takes much less training time since the fast gradient sign method (FGSM) takes one step to generate perturbations but fails to increase adversarial robustness. In this work, we extend adv.FGSM to make it achieve the adversarial robustness of adv.PGD. We demonstrate that the large curvature along FGSM perturbed direction leads to a large difference in performance of adversarial robustness between adv.FGSM and adv.PGD, and therefore propose combining adv.FGSM with a curvature regularization (adv.FGSMR) in order to bridge the performance gap between adv.FGSM and adv.PGD. The experiments show that adv.FGSMR has higher training efficiency than adv.PGD. In addition, it achieves comparable performance of adversarial robustness on MNIST dataset under white-box attack, and it achieves better performance than adv.PGD under white-box attack and effectively defends the transferable adversarial attack on CIFAR-10 dataset.

研究动机与目标

• 解决快速但脆弱的 FGSM 对抗训练与缓慢但鲁棒的 PGD 对抗训练之间的性能差距。
• 识别 FGSM 鲁棒性差的根本原因在于其扰动方向上曲率过高。
• 提出一种正则化方法，以降低 FGSM 方向上的曲率，从而在不增加训练成本的前提下提升鲁棒性。
• 在保持高训练效率的同时，实现与 PGD 相当或更优的对抗鲁棒性。

提出的方法

• 提出一种曲率正则化项，用于在损失函数中惩罚 FGSM 扰动方向上的高曲率。
• 将曲率正则化整合到标准 FGSM 对抗训练中，形成 adv.FGSMR 框架。
• 使用基于 Hessian 的曲率估计（公式 6）在训练过程中计算 FGSM 方向上的曲率。
• 使用修改后的损失函数进行模型训练：标准交叉熵损失 + 曲率正则化项。
• 通过一步 FGSM 扰动优化模型，但引入曲率控制，以提升对多步 PGD 类似攻击的泛化能力。
• 在 MNIST 和 CIFAR-10 上使用标准 ResNet 架构应用该方法，并在白盒与黑盒攻击下进行评估。

实验结果

研究问题

• RQ1 为何 FGSM 对抗训练尽管速度快，却无法实现与 PGD 相当的鲁棒性？
• RQ2 FGSM 扰动方向上的曲率如何影响对抗鲁棒性的泛化能力？
• RQ3 曲率正则化能否提升基于 FGSM 的对抗训练，使其鲁棒性达到或超过 PGD 水平？
• RQ4 所提方法是否在提升鲁棒性的同时，仍保持高训练效率？

主要发现

• 在 MNIST 数据集上，adv.FGSMR 在白盒 PGD 攻击下实现了与 PGD 相当的对抗鲁棒性。
• 在 CIFAR-10 上，adv.FGSMR 在白盒 PGD 攻击和 C&W 攻击下均优于 PGD 的对抗鲁棒性。
• adv.FGSMR 对可迁移对抗攻击的防御效果与 PGD 相当，且在黑盒设置下具有更高的扰动数据准确率。
• 使用 adv.FGSMR 训练时，每轮训练时间仅为 PGD（k=20）的一半，同时在扰动数据准确率上保持相似的收敛速度。
• adv.FGSMR 下的曲率值略低于 PGD，表明曲率控制有助于提升鲁棒性。
• 如表 6 的可迁移性实验所示，该方法学习到的特征更接近 PGD 而非标准训练。