[论文解读] Mitigating Evasion Attacks to Deep Neural Networks via Region-based Classification

Xiaoyu Cao, Neil Zhenqiang Gong|arXiv (Cornell University)|Sep 17, 2017

Adversarial Robustness in Machine Learning参考文献 30被引用 7

一句话总结

本文提出基于区域的分类方法，通过在测试样本中心的超立方体内对多个点进行集成预测，以防御深度神经网络的逃避攻击。该方法在不降低良性样本准确率的前提下，显著提升了对当前最先进对抗攻击（如Carlini和Wagner提出的攻击）的鲁棒性，大幅降低攻击成功率，同时保持原始模型性能。

ABSTRACT

Deep neural networks (DNNs) have transformed several artificial intelligence research areas including computer vision, speech recognition, and natural language processing. However, recent studies demonstrated that DNNs are vulnerable to adversarial manipulations at testing time. Specifically, suppose we have a testing example, whose label can be correctly predicted by a DNN classifier. An attacker can add a small carefully crafted noise to the testing example such that the DNN classifier predicts an incorrect label, where the crafted testing example is called adversarial example. Such attacks are called evasion attacks. Evasion attacks are one of the biggest challenges for deploying DNNs in safety and security critical applications such as self-driving cars. In this work, we develop new methods to defend against evasion attacks. Our key observation is that adversarial examples are close to the classification boundary. Therefore, we propose region-based classification to be robust to adversarial examples. For a benign/adversarial testing example, we ensemble information in a hypercube centered at the example to predict its label. In contrast, traditional classifiers are point-based classification, i.e., given a testing example, the classifier predicts its label based on the testing example alone. Our evaluation results on MNIST and CIFAR-10 datasets demonstrate that our region-based classification can significantly mitigate evasion attacks without sacrificing classification accuracy on benign examples. Specifically, our region-based classification achieves the same classification accuracy on testing benign examples as point-based classification, but our region-based classification is significantly more robust than point-based classification to various evasion attacks.

研究动机与目标

• 解决深度神经网络（DNN）对逃避攻击的脆弱性问题，即微小的对抗扰动会导致误分类。
• 基于经验测量，探究对抗样本是否本质上靠近决策边界。
• 开发一种防御机制，增强鲁棒性，且无需重新训练或修改原始DNN。
• 在标准基准数据集（MNIST和CIFAR-10）上，针对强对抗攻击评估该防御方法。
• 证明基于区域的分类在保持良性样本高准确率的同时，显著降低对抗样本的成功率。

提出的方法

• 该方法在输入空间中以测试样本为中心构建一个超立方体，采样多个扰动后的点。
• 对超立方体内的每个采样点，使用原始DNN分类器预测其标签。
• 通过所有采样点标签的多数投票，确定原始测试样本的最终预测结果。
• 该方法将基于点的分类转化为基于区域的分类，利用输入空间中的局部一致性。
• 该防御仅在推理阶段应用，因此可与无需重新训练的遗留模型兼容。
• 该方法通过多个噪声样本隐式实现随机化，但与以往随机化防御不同，其采用对多个样本进行集成投票，而非仅使用单个随机化输入。

实验结果

研究问题

• RQ1 对抗样本是否位于决策边界附近，使得其周围局部区域仍包含真实类别的点？
• RQ2 在测试样本周围局部区域内，对多个点的预测进行集成，能否提升对逃避攻击的鲁棒性？
• RQ3 基于区域的分类在良性样本上的准确率是否与标准基于点的分类保持一致？
• RQ4 基于区域的分类对强对抗攻击（如Carlini和Wagner提出的攻击）的有效性如何？
• RQ5 该防御是否能在不重新训练模型的情况下，泛化到不同数据集和攻击类型？

主要发现

• 基于区域的分类在良性样本上的测试准确率与基于点的分类相同，确认无性能下降。
• 该方法显著降低了逃避攻击的成功率，包括在MNIST和CIFAR-10数据集上由Carlini和Wagner提出的攻击。
• 通过强攻击生成的对抗样本对微小扰动表现出敏感性，因为当评估区域内的采样点时，其标签会发生变化。
• 实际适应性攻击的成功率低于估计值，因为部分对抗样本因噪声过大而无法通过人类可感知性测试。
• 该防御对绕过对抗训练和知识蒸馏的攻击也具有鲁棒性，表明其对当前最先进的逃避技术有效。
• 该方法表明，可通过利用输入空间中的局部一致性，在不修改原始模型的情况下检测和缓解对抗样本。