[论文解读] Bag of Tricks for FGSM Adversarial Training

Zichao Li, Li Liu+3 more|arXiv (Cornell University)|Sep 6, 2022

Adversarial Robustness in Machine Learning被引用 4

一句话总结

本文提出了一系列实用且计算高效的技巧，以稳定快速梯度符号法对抗训练（FGSM-AT）过程，该过程易受灾难性过拟合的影响。通过应用简单修改——如固定像素掩码、大卷积步长、平滑激活函数或第一层权重正则化——FGSM-AT在CIFAR-10上对PGD-50的鲁棒准确率达到49.8%，对AutoAttack的鲁棒准确率达到46.4%，使用PreActResNet-18模型，证明纯FGSM-AT无需复杂攻击或高计算成本即可获得鲁棒模型。

ABSTRACT

Adversarial training (AT) with samples generated by Fast Gradient Sign Method (FGSM), also known as FGSM-AT, is a computationally simple method to train robust networks. However, during its training procedure, an unstable mode of "catastrophic overfitting" has been identified in arXiv:2001.03994 [cs.LG], where the robust accuracy abruptly drops to zero within a single training step. Existing methods use gradient regularizers or random initialization tricks to attenuate this issue, whereas they either take high computational cost or lead to lower robust accuracy. In this work, we provide the first study, which thoroughly examines a collection of tricks from three perspectives: Data Initialization, Network Structure, and Optimization, to overcome the catastrophic overfitting in FGSM-AT. Surprisingly, we find that simple tricks, i.e., a) masking partial pixels (even without randomness), b) setting a large convolution stride and smooth activation functions, or c) regularizing the weights of the first convolutional layer, can effectively tackle the overfitting issue. Extensive results on a range of network architectures validate the effectiveness of each proposed trick, and the combinations of tricks are also investigated. For example, trained with PreActResNet-18 on CIFAR-10, our method attains 49.8% accuracy against PGD-50 attacker and 46.4% accuracy against AutoAttack, demonstrating that pure FGSM-AT is capable of enabling robust learners. The code and models are publicly available at https://github.com/UCSC-VLAA/Bag-of-Tricks-for-FGSM-AT.

研究动机与目标

• 解决FGSM-AT因灾难性过拟合导致的不稳定性问题，即鲁棒准确率在单个训练步骤内骤降至零。
• 开发轻量级、计算高效的解决方案，以稳定FGSM-AT，而无需依赖PGD等昂贵的对抗攻击。
• 探究数据初始化中的随机性是否对稳定FGSM-AT至关重要，挑战先前的假设。
• 探索架构和优化层面的修改，以内在提升FGSM-AT的训练稳定性。
• 证明当通过简单技术稳定后，纯FGSM-AT可实现与更复杂对抗训练方法相当的竞争力鲁棒性。

提出的方法

• 提出FGSM-Mask：在FGSM-AT训练过程中对输入像素的固定或随机子集进行掩码，以稳定优化过程。
• 提出FGSM-Str2：增大第一卷积层的步长，以减少特征重叠并提升稳定性。
• 在模型中使用平滑激活函数（如SiLU）替代ReLU，以降低梯度的尖锐性并缓解过拟合。
• 提出ConvNorm：一种对第一卷积层权重施加L2范数约束的权重正则化项，以稳定训练过程。
• 结合多种技巧（如大步长 + 平滑激活 + ConvNorm）以实现鲁棒性的协同提升。
• 采用固定掩码模式而非随机掩码，表明随机性并非稳定化的必要条件。

实验结果

研究问题

• RQ1 固定而非随机的像素掩码是否能够稳定FGSM-AT训练，从而挑战‘随机性对鲁棒性必不可少’的既有信念？
• RQ2 在CNN中，增大第一卷积层的步长是否能提升FGSM-AT的训练稳定性？
• RQ3 与ReLU相比，平滑激活函数（如SiLU）是否能有效减少FGSM-AT中的灾难性过拟合？
• RQ4 对第一卷积层施加轻量级权重正则化（如ConvNorm）是否能在不显著增加计算开销的前提下稳定FGSM-AT？
• RQ5 在CIFAR-10和CIFAR-100等标准基准上，这些技巧的组合是否能带来优于单一方法的鲁棒性提升？

主要发现

• 使用固定像素掩码的FGSM-AT（FGSM-Mask-Fixed）在CIFAR-10上对PGD-50的鲁棒准确率达到49.8%，对AutoAttack的鲁棒准确率达到46.4%，模型为PreActResNet-18。
• 在第一卷积层使用大步长（Str2）可稳定训练，并在WideResNet-34-10上实现对PGD-50-10的50.4%鲁棒准确率和对AutoAttack的47.3%鲁棒准确率。
• 平滑激活函数（如SiLU）可提升稳定性，在CIFAR-100上使用FGSM-Smooth实现对AutoAttack的25.2%鲁棒准确率。
• ConvNorm是一种对第一层轻量级的权重正则化方法，在CIFAR-100上实现对AutoAttack的25.1%鲁棒准确率，有效稳定了训练过程。
• 多种技巧的组合（如Str2 + 平滑激活 + ConvNorm）带来最高鲁棒性，在WideResNet-34-10上对PGD-50-10实现50.4%的鲁棒准确率。
• 所有所提方法即使在大扰动（ε = 16/255）下也能防止灾难性过拟合，其中FGSM-Mask在CIFAR-10上对PGD-50-10实现25.3%的鲁棒准确率。