[论文解读] Efficient Adversarial Training with Transferable Adversarial Examples

Haizhong Zheng, Ziqi Zhang+3 more|arXiv (Cornell University)|Dec 27, 2019

Adversarial Robustness in Machine Learning参考文献 41被引用 9

一句话总结

该论文提出了一种名为ATTA（使用可迁移对抗扰动的对抗训练）的新方法，通过利用相邻训练轮次模型之间的高迁移性，实现对抗扰动在训练轮次间的复用。通过在轮次间累积攻击强度，ATTA在保持与PGD-based对抗训练相当或更优的鲁棒性的同时，将CIFAR10上的训练时间减少了最多14.1倍，并将对抗准确性提升了最多7.2%。

ABSTRACT

Adversarial training is an effective defense method to protect classification models against adversarial attacks. However, one limitation of this approach is that it can require orders of magnitude additional training time due to high cost of generating strong adversarial examples during training. In this paper, we first show that there is high transferability between models from neighboring epochs in the same training process, i.e., adversarial examples from one epoch continue to be adversarial in subsequent epochs. Leveraging this property, we propose a novel method, Adversarial Training with Transferable Adversarial Examples (ATTA), that can enhance the robustness of trained models and greatly improve the training efficiency by accumulating adversarial perturbations through epochs. Compared to state-of-the-art adversarial training methods, ATTA enhances adversarial accuracy by up to 7.2% on CIFAR10 and requires 12~14x less training time on MNIST and CIFAR10 datasets with comparable model robustness.

研究动机与目标

• 为解决在对抗训练过程中生成强对抗样本所导致的高计算成本问题。
• 探究在一次训练轮次中生成的对抗扰动是否能在后续轮次中保持有效性。
• 开发一种在轮次间复用对抗扰动的方法，以减少训练时间而不损失模型鲁棒性。
• 提升基于迭代攻击的对抗训练方法的效率与效果。
• 在ImageNet等大规模数据集上展示该方法的实用性。

提出的方法

• 该方法复用前一训练轮次中生成的对抗扰动，用于下一训练轮次的对抗训练，利用相邻轮次模型之间的高迁移性。
• 每轮训练仅执行一次攻击迭代以生成对抗样本，将前一轮的扰动作为起始点。
• 采用连接函数处理轮次间的分布偏移，确保扰动在模型更新后仍保持有效性。
• 可无缝集成至现有对抗训练框架（如Madry的方法，即MAT）和TRADES中，无需修改其核心架构。
• 应用逆数据增强（i.d.a.）以进一步提升轮次间的迁移性。
• 精心选择攻击损失函数——在轮次复用的背景下，方程3优于方程2，具有更好的稳定性和迁移性。

实验结果

研究问题

• RQ1 在对抗训练过程中，连续训练轮次的模型之间是否存在高迁移性？
• RQ2 能否有效复用某一训练轮次中的对抗扰动以减少后续轮次的攻击迭代次数？
• RQ3 在轮次间复用扰动是否能在不损失模型鲁棒性的前提下提升训练效率？
• RQ4 攻击损失函数的选择如何影响轮次复用场景下的迁移性与性能表现？
• RQ5 所提出的方法能否在ImageNet等大规模数据集上实现可扩展性，且计算开销极低？

主要发现

• 在CIFAR10上，ATTA相比传统的PGD-based对抗训练，将训练时间最多减少了14.1倍；在MNIST上减少了12.2倍。
• 仅使用每轮一次攻击迭代，ATTA-1在5分钟内于MNIST上达到96.31%的对抗准确性，而MAT则需65分钟。
• 在CIFAR10上，ATTA约2小时即可达到与MAT相当的对抗准确性，而MAT需超过33小时。
• 在CIFAR10上，ATTA相比MAT将对抗准确性最高提升了7.2%，证明了其更强的鲁棒性。
• 在ImageNet上，ATTA仅用一台2080 Ti GPU在97小时内即达到与基线相当的鲁棒性，展现出良好的可扩展性。
• 逆数据增强显著提升了迁移性，在消融实验中使鲁棒性提升了约6%。