[论文解读] Mitigating Adversarial Effects Through Randomization

Cihang Xie, Jianyu Wang+3 more|arXiv (Cornell University)|Nov 6, 2017

Adversarial Robustness in Machine Learning参考文献 26被引用 195

一句话总结

本文提出在推理时进行随机化（随机缩放和随机填充）来防御卷积神经网络对抗性样本，在对抗性攻击，尤其是迭代攻击方面取得了显著效果，并在与对抗性训练结合时提升防御效果。

ABSTRACT

Convolutional neural networks have demonstrated high accuracy on various tasks in recent years. However, they are extremely vulnerable to adversarial examples. For example, imperceptible perturbations added to clean images can cause convolutional neural networks to fail. In this paper, we propose to utilize randomization at inference time to mitigate adversarial effects. Specifically, we use two randomization operations: random resizing, which resizes the input images to a random size, and random padding, which pads zeros around the input images in a random manner. Extensive experiments demonstrate that the proposed randomization method is very effective at defending against both single-step and iterative attacks. Our method provides the following advantages: 1) no additional training or fine-tuning, 2) very few additional computations, 3) compatible with other adversarial defense methods. By combining the proposed randomization method with an adversarially trained model, it achieves a normalized score of 0.924 (ranked No.2 among 107 defense teams) in the NIPS 2017 adversarial examples defense challenge, which is far better than using adversarial training alone with a normalized score of 0.773 (ranked No.56). The code is public available at https://github.com/cihangxie/NIPS2017_adv_challenge_defense.

研究动机与目标

• 在对抗性扰动下推动 CNN 的鲁棒分类。
• 通过推理时随机化引入一种轻量级、无需训练的防御。
• 在接近 ImageNet 规模的数据上，针对多种网络结构和攻击类型评估防御效果。
• 展示与对抗性训练的兼容性，以及在防御挑战中的竞争性表现。

提出的方法

• 在推理阶段添加两层随机化：随机调整大小到 [299,331) 的大小，以及随机零填充到 331×331×3。
• 不需要重新训练或微调；额外计算量很小。
• 证明随机化会干扰对抗扰动，尤其是对迭代攻击，因为跨随机模式的可转移性损失。
• 将随机化与对抗性训练结合，以增强对单步攻击的鲁棒性。
• 在接近 ImageNet 规模的网络上评估（Inception-v3、ResNet-101、Inception-ResNet-v2、ens-adv-Inception-ResNet-v2），使用 FGSM、DeepFool 和 Carlini & Wagner 攻击。

实验结果

研究问题

• RQ1 推理时随机化是否会降低对抗扰动在不同模式之间的转移性？
• RQ2 该方法在单步攻击与迭代攻击上的表现如何？
• RQ3 随机化方法是否与现有的对抗性训练和网络架构兼容？
• RQ4 对干净图像准确率有何影响？
• RQ5 在如 NIPS 2017 防守挑战等大规模基准上表现如何？

主要发现

• 随机化层显著减轻对抗效果，适用于单步攻击和迭代攻击，尤其是在迭代攻击中。
• 将随机化与集成对抗性训练结合可获得强鲁棒性，例如在不同攻击下 top-1 准确率仍然很高。
• 在干净图像上，随机化对准确率影响很小（例如在各架构上略有下降）。
• 在 NIPS 2017 防守挑战中，随机化加上 ens-adv-Inception-ResNet-v2 获得 0.924 的归一化分数，在 107 支防御队中排名第 2，而单独对抗性训练为 0.773（No. 56）。
• 该防御支持多种攻击场景，包括普通、单模式和集成模式攻击。