[论文解读] Adversarial Examples Improve Image Recognition

Cihang Xie, Mingxing Tan+4 more|arXiv (Cornell University)|Nov 21, 2019

Adversarial Robustness in Machine Learning参考文献 54被引用 48

一句话总结

AdvProp 证明使用对抗样本配合专用辅助批量归一化可以提升干净图像准确率并显著提升在失真图像基准上的鲁棒性，在 EfficientNet-B8 上达到当前最佳的 ImageNet 性能，并在 ImageNet-C、ImageNet-A 和 Stylized-ImageNet 上取得强劲增益。

ABSTRACT

Adversarial examples are commonly viewed as a threat to ConvNets. Here we present an opposite perspective: adversarial examples can be used to improve image recognition models if harnessed in the right manner. We propose AdvProp, an enhanced adversarial training scheme which treats adversarial examples as additional examples, to prevent overfitting. Key to our method is the usage of a separate auxiliary batch norm for adversarial examples, as they have different underlying distributions to normal examples. We show that AdvProp improves a wide range of models on various image recognition tasks and performs better when the models are bigger. For instance, by applying AdvProp to the latest EfficientNet-B7 [28] on ImageNet, we achieve significant improvements on ImageNet (+0.7%), ImageNet-C (+6.5%), ImageNet-A (+7.0%), Stylized-ImageNet (+4.8%). With an enhanced EfficientNet-B8, our method achieves the state-of-the-art 85.5% ImageNet top-1 accuracy without extra data. This result even surpasses the best model in [20] which is trained with 3.5B Instagram images (~3000X more than ImageNet) and ~9.4X more parameters. Models are available at https://github.com/tensorflow/tpu/tree/master/models/official/efficientnet.

研究动机与目标

• 激励利用对抗样本来提升图像识别性能，而不仅仅是为对抗攻击做防御。
• 提出 AdvProp，通过辅助批量归一化来解决干净数据与对抗数据之间的分布不匹配。
• 证明 AdvProp 能提升包括较大网络在内的一系列模型在 ImageNet 及失真数据集上的表现。

提出的方法

• 将对抗性训练框架化为两分布学习问题，并引入辅助批量归一化以区分干净与对抗统计量。
• 在辅助 BN 框架内，使用 PGD 在线生成对抗样本。
• 采用混合目标函数，分别对干净与对抗批次计算损失，分别使用主 BN 与辅助 BN。
• 推理阶段移除辅助 BN，以保持标准架构。
• 可选地扩展到多个辅助 BN，以实现更精细的解耦（如 AutoAugment 路径）。
• 在 ImageNet 及如 ImageNet-C、ImageNet-A、Stylized-ImageNet 等失真数据集上，对 EfficientNet 的变体和 ResNet 进行评估。

实验结果

研究问题

• RQ1 对抗样本是否可以用于提升大规模数据集的监督图像识别性能，而非降低？
• RQ2 通过辅助批量归一化解耦分布是否能够从干净与对抗数据的混合中实现有效学习？
• RQ3 与标准对抗训练相比，AdvProp 在不同网络容量及鲁棒性基准（ImageNet-C、ImageNet-A、Stylized-ImageNet）上的表现如何？
• RQ4 攻击强度与辅助 BN 设计对模型性能有何影响？

主要发现

• AdvProp 在 ImageNet top-1 精度上优于普通训练，对更大网络有更大提升（例如 EfficientNet-B7 达到 85.2% 的 top-1）。
• AdvProp 获得显著的鲁棒性提升：ImageNet-C 的 mCE 提升到 52.9%（EfficientNet-B7），ImageNet-A 精度 44.7%，Stylized-ImageNet 精度 26.6%——在没有额外数据的情况下的最佳报道。
• 辅助批量归一化解耦干净与对抗分布，使两域学习更有效，并在 larger 模型上优于传统对抗训练。
• 在失真数据集上，AdvProp 相较于干净 ImageNet 对大模型的提升更显著，例如 EfficientNet-B7 在 ImageNet-C、ImageNet-A、Stylized-ImageNet 上取得强劲增益。
• 细粒度变体（多个辅助 BN）以及与 AutoAugment 的组合进一步提升性能，特别是对小模型。