[论文解读] Assessing Threat of Adversarial Examples on Deep Neural Networks

Abigail Graese, Andras Rozsa+1 more|arXiv (Cornell University)|Oct 13, 2016

Adversarial Robustness in Machine Learning参考文献 15被引用 19

一句话总结

本文研究了对抗性样本是否在实际应用中对深度神经网络构成真正的安全威胁。通过模拟现实世界中的图像获取过程（如裁剪、模糊化和二值化），研究发现这些自然变换能消除大多数对抗性样本，尤其是FGS和FGV类型的样本，使其不再具有对抗性。主要发现是，在手写数字分类（如支票处理）等实际应用中，由于预处理和图像获取效应的影响，对抗性样本基本无效。

ABSTRACT

Deep neural networks are facing a potential security threat from adversarial examples, inputs that look normal but cause an incorrect classification by the deep neural network. For example, the proposed threat could result in hand-written digits on a scanned check being incorrectly classified but looking normal when humans see them. This research assesses the extent to which adversarial examples pose a security threat, when one considers the normal image acquisition process. This process is mimicked by simulating the transformations that normally occur in acquiring the image in a real world application, such as using a scanner to acquire digits for a check amount or using a camera in an autonomous car. These small transformations negate the effect of the carefully crafted perturbations of adversarial examples, resulting in a correct classification by the deep neural network. Thus just acquiring the image decreases the potential impact of the proposed security threat. We also show that the already widely used process of averaging over multiple crops neutralizes most adversarial examples. Normal preprocessing, such as text binarization, almost completely neutralizes adversarial examples. This is the first paper to show that for text driven classification, adversarial examples are an academic curiosity, not a security threat.

研究动机与目标

• 评估对抗性样本是否在真实世界深度学习应用中构成真正的安全威胁。
• 评估自然图像获取过程（如噪声、模糊和裁剪）对抗敌样本鲁棒性的影响。
• 研究广泛使用的预处理技术（如二值化和多裁剪融合）是否能中和对抗性扰动。
• 确定对抗性样本在真实部署场景（如自动驾驶汽车或支票处理系统）中是否仍具威胁。
• 通过展示对抗性样本在标准图像处理流水线下的脆弱性，挑战其为关键威胁的普遍认知。

提出的方法

• 通过应用小幅度的几何和光度变换（如平移、旋转、模糊、噪声）模拟真实世界的图像获取过程。
• 使用MNIST数据集评估FGS和FGV对抗性样本的对抗鲁棒性，测试变换后的分类准确率。
• 应用多裁剪融合（最多5个裁剪）以模拟最先进模型中使用的集成推理，评估对抗性样本在平均处理后是否仍能保持有效。
• 执行图像二值化以模拟文档分析系统中的标准预处理，测试其对抗敌样本鲁棒性的影响。
• 将评估扩展至ImageNet的一个子集，使用GoogLeNet，应用相同的变换流水线以评估其在MNIST之外的泛化能力。
• 使用标准指标：变换前后对抗性样本的top-1和top-5准确率，以量化鲁棒性。

实验结果

研究问题

• RQ1 常见的图像获取变换（如模糊、噪声、平移）在多大程度上中和了真实应用中的对抗性样本？
• RQ2 在基于文本的分类任务中，标准预处理技术（如二值化）是否能完全消除对抗性样本的威胁？
• RQ3 多裁剪融合——在最先进模型中常见——是否能为对抗性扰动提供内在鲁棒性？
• RQ4 自然图像变换在保留较大数据集（如ImageNet）上对抗性成功方面的有效性如何？
• RQ5 在何种条件下，尽管存在自然图像获取过程，对抗性样本仍可能构成威胁？

主要发现

• 图像获取变换（如模糊、噪声和小幅度平移）显著降低了对抗性样本的成功率，使大多数样本不再具有对抗性。
• 输入图像的二值化在MNIST上实现了接近完美的性能——与干净测试集准确率相当，甚至在正确分类率上比视网膜聚焦方法高出20%。
• 仅使用5个裁剪的多裁剪融合已能纠正大多数对抗性样本，表明集成推理本身具有防御能力。
• 在ImageNet的一个子集上，63%的FGS对抗性样本在应用变换流水线后，top-1准确率仍能正确分类，top-5准确率达到89.95%。
• 二值化与裁剪的结合使对抗性成功降至近乎无关紧要的程度，表明在支票处理等基于文档的系统中，对抗性样本并非实际威胁。
• 在自动驾驶汽车系统中，若标志在多个帧中被捕捉，对抗性样本存活的概率低于百万分之一，假设帧级正确率在90%以上。