[论文解读] Better the Devil you Know: An Analysis of Evasion Attacks using Out-of-Distribution Adversarial Examples

Vikash Sehwag, Arjun Nitin Bhagoji+5 more|arXiv (Cornell University)|May 5, 2019

Adversarial Robustness in Machine Learning参考文献 113被引用 7

一句话总结

本文引入了分布外（OOD）对抗性样本——即对分布外输入施加扰动，以逃避检测并在开放世界深度学习系统中引发误分类。实验表明，当前最先进的防御方法，包括鲁棒训练和OOD检测器，对这类攻击均无效。为此，本文提出一种结合迭代对抗训练与背景类增强的混合方法，显著提升了模型鲁棒性，将OOD对抗性攻击的成功率最高降低84%。

ABSTRACT

A large body of recent work has investigated the phenomenon of evasion attacks using adversarial examples for deep learning systems, where the addition of norm-bounded perturbations to the test inputs leads to incorrect output classification. Previous work has investigated this phenomenon in closed-world systems where training and test inputs follow a pre-specified distribution. However, real-world implementations of deep learning applications, such as autonomous driving and content classification are likely to operate in the open-world environment. In this paper, we demonstrate the success of open-world evasion attacks, where adversarial examples are generated from out-of-distribution inputs (OOD adversarial examples). In our study, we use 11 state-of-the-art neural network models trained on 3 image datasets of varying complexity. We first demonstrate that state-of-the-art detectors for out-of-distribution data are not robust against OOD adversarial examples. We then consider 5 known defenses for adversarial examples, including state-of-the-art robust training methods, and show that against these defenses, OOD adversarial examples can achieve up to 4$ imes$ higher target success rates compared to adversarial examples generated from in-distribution data. We also take a quantitative look at how open-world evasion attacks may affect real-world systems. Finally, we present the first steps towards a robust open-world machine learning system.

研究动机与目标

• 研究开放世界机器学习设置中逃避攻击的威胁，其中模型会遇到来自未知分布的输入。
• 分析当前最先进的OOD检测与对抗性防御机制在面对由分布外数据构造的对抗性样本时的脆弱性。
• 评估现有防御机制在面对OOD对抗性样本时的有效性，揭示当前鲁棒性假设中的关键缺陷。
• 提出一种新型防御策略，结合对抗训练与使用背景类的可选预测，以增强对OOD对抗性样本的鲁棒性。

提出的方法

• 作者通过在分布外输入（如ImageNet、VOC12、MNIST）上施加范数有界的扰动，生成OOD对抗性样本，而非在分布内数据上进行。
• 评估了11个在CIFAR-10、SVHN和Tiny ImageNet上训练的最先进深度神经网络，以评估其在OOD对抗性攻击下的鲁棒性。
• 提出一种混合防御方法：通过引入背景类显式建模分布外输入，使用来自四个OOD数据集（MNIST、ImageNet、VOC12、Internet Photos）的各5,000张图像进行训练。
• 该方法在分布内数据中加入分布外样本，采用类似Madry等人方法的迭代对抗训练，使模型能够学习到更鲁棒的决策边界。
• 以目标攻击成功率作为主要度量指标，量化攻击效果，即高置信度下实现目标误分类的OOD对抗性样本所占比例。
• 通过测试模型在训练中未使用的OOD数据集生成的OOD对抗性样本上的表现，评估鲁棒性的泛化能力。

实验结果

研究问题

• RQ1 能否将分布外（OOD）输入操纵为对抗性样本，使其逃避检测并在开放世界深度学习系统中引发高置信度的误分类？
• RQ2 与分布内对抗性样本相比，现有最先进的OOD检测与对抗性防御机制在OOD对抗性样本面前的有效性如何？
• RQ3 在多种OOD数据集上，通过引入背景类和OOD数据进行对抗训练，能在多大程度上提升对OOD对抗性攻击的鲁棒性？
• RQ4 从单一OOD数据集（如VOC12）学习到的鲁棒性是否能泛化到其他OOD数据集？在训练中结合多个OOD数据集如何影响整体防御性能？

主要发现

• 在攻击最先进的防御机制时，OOD对抗性样本的目标攻击成功率最高可达分布内对抗性样本的4倍。
• 现有OOD检测方法无法检测OOD对抗性样本，因为这些样本即使来自不同分布，仍以高置信度被分类为目标类别。
• 仅使用5,000张OOD图像（如ImageNet）进行对抗训练，即可将OOD对抗性样本的目标攻击成功率从44.9%降低至7.4%，显著提升鲁棒性。
• 在单一OOD数据集（如VOC12）上训练获得的鲁棒性可泛化至其他OOD数据集，使ImageNet-based OOD对抗性样本的攻击成功率从44.9%降至15.8%。
• 在对抗训练中结合多个OOD数据集（MNIST、ImageNet、VOC12、Internet Photos）可获得最佳性能，实现所有OOD源中最低的整体目标攻击成功率。
• 所提出的混合防御方法对分布内准确率影响极小，即使在所有四个OOD数据集上进行训练，最大准确率下降也仅为3.1%。