[论文解读] Keeping the Bad Guys Out: Protecting and Vaccinating Deep Learning with JPEG Compression

Nilaksh Das, Madhuri Shanbhogue+5 more|arXiv (Cornell University)|May 8, 2017

Adversarial Robustness in Machine Learning参考文献 22被引用 242

一句话总结

该论文将 JPEG 压缩作为对图像分类器的对抗性攻击的预处理防御，并通过在压缩图像上进行训练的疫苗化策略以及多模型集成来稳健对抗如 FGSM 和 DeepFool 等攻击。

ABSTRACT

Deep neural networks (DNNs) have achieved great success in solving a variety of machine learning (ML) problems, especially in the domain of image recognition. However, recent research showed that DNNs can be highly vulnerable to adversarially generated instances, which look seemingly normal to human observers, but completely confuse DNNs. These adversarial samples are crafted by adding small perturbations to normal, benign images. Such perturbations, while imperceptible to the human eye, are picked up by DNNs and cause them to misclassify the manipulated instances with high confidence. In this work, we explore and demonstrate how systematic JPEG compression can work as an effective pre-processing step in the classification pipeline to counter adversarial attacks and dramatically reduce their effects (e.g., Fast Gradient Sign Method, DeepFool). An important component of JPEG compression is its ability to remove high frequency signal components, inside square blocks of an image. Such an operation is equivalent to selective blurring of the image, helping remove additive perturbations. Further, we propose an ensemble-based technique that can be constructed quickly from a given well-performing DNN, and empirically show how such an ensemble that leverages JPEG compression can protect a model from multiple types of adversarial attacks, without requiring knowledge about the model.

研究动机与目标

• 对图像分类中的对抗性扰动给出一个简单、模型无关的防御动机与方法。
• 评价 JPEG 压缩作为预处理步骤在不损害良性准确率的前提下去除对抗性噪声。
• 提出用 JPEG 压缩图像进行训练以提升鲁棒性（疫苗化）。
• 在多种 JPEG 质量水平下开发一个疫苗化模型的 Ensemble，以减轻攻击的转移性。

提出的方法

• 在分类前将 JPEG 压缩应用于不同质量水平，作为预处理步骤。
• 在 CIFAR-10 和 GTSRB 数据集上评估对 FGSM 与 DeepFool 的防御效果。
• 在 JPEG 压缩图像上对模型进行变体训练（疫苗化），覆盖质量水平从 100 到 20。
• 在多种 JPEG 质量下构建疫苗化模型的集合，对预测进行投票以降低攻击影响。

实验结果

研究问题

• RQ1 JPEG 压缩在分类前是否降低了对 CIFAR-10 与 GTSRB 的对抗性攻击有效性？
• RQ2 在 JPEG 压缩图像上训练模型（疫苗化）是否提升对对抗性扰动的鲁棒性？
• RQ3 跨不同 JPEG 质量的疫苗化模型集合是否比单一模型提供更强的防御？
• RQ4 JPEG 质量如何影响良性准确率与对抗鲁棒性？

主要发现

• JPEG 压缩可以对抗 CIFAR-10 与 GTSRB 的 FGSM 与 DeepFool 攻击，且通常较高程度的压缩在初期降低攻击成功率。
• 通过在 JPEG 压缩图像上训练实现疫苗化可提升对对抗性测试集的鲁棒性。
• 一个在多种质量水平下对图像进行疫苗化并投票的模型集合，相较于原始模型，在攻击下的错误分类显著减少。
• 在 CIFAR-10 上，该集合在 FGSM 与 DeepFool 攻击下的准确率分别从 28.97% 和 27.44% 提升到 79.57% 和 82.71%，显著提升鲁棒性。
• 在 GTSRB 上，该集合在 FGSM 与 DeepFool 攻击下的鲁棒性从 41.00% 和 68.19% 提升到 73.37% 和 91.70%，表现出更强的鲁棒性。
• 较低的 JPEG 质量在某些数据集（尤其是 CIFAR-10）上会降低良性准确率，因 JPEG 伪影；较大图像（GTSRB）则降幅较小。