[论文解读] Cloud-based Image Classification Service Is Not Robust To Simple Transformations: A Forgotten Battlefield

Dou Goodman, Tao Wei|arXiv (Cornell University)|Jun 19, 2019

Adversarial Robustness in Machine Learning参考文献 20被引用 4

一句话总结

本文提出了一种简单的转换（Simple Transformation, ST）攻击——通过使用高斯噪声、椒盐噪声、旋转和单色化等基本图像操作，实现了在亚马逊、谷歌、微软和Clarifai等云图像分类器上接近100%的成功率。此外，本文还提出了图像融合（Image Fusion, IF）攻击，通过组合图像实现超过98%的逃逸成功率，表明即使使用非深度学习的简单技术，也能突破广泛使用的云视觉服务。

ABSTRACT

Many recent works demonstrated that Deep Learning models are vulnerable to adversarial examples.Fortunately, generating adversarial examples usually requires white-box access to the victim model, and the attacker can only access the APIs opened by cloud platforms. Thus, keeping models in the cloud can usually give a (false) sense of security.Unfortunately, cloud-based image classification service is not robust to simple transformations such as Gaussian Noise, Salt-and-Pepper Noise, Rotation and Monochromatization. In this paper,(1) we propose one novel attack method called Image Fusion(IF) attack, which achieve a high bypass rate,can be implemented only with OpenCV and is difficult to defend; and (2) we make the first attempt to conduct an extensive empirical study of Simple Transformation (ST) attacks against real-world cloud-based classification services. Through evaluations on four popular cloud platforms including Amazon, Google, Microsoft, Clarifai, we demonstrate that ST attack has a success rate of approximately 100% except Amazon approximately 50%, IF attack have a success rate over 98% among different classification services. (3) We discuss the possible defenses to address these security challenges.Experiments show that our defense technology can effectively defend known ST attacks.

研究动机与目标

• 研究真实世界云图像分类服务对简单、非对抗性图像变换的鲁棒性。
• 揭示云AI服务对低复杂度攻击的脆弱性，此类攻击无需深度学习专业知识或白盒访问权限。
• 提出一种新颖且高度有效的攻击方法——图像融合（IF）攻击，该方法在主要云平台上的绕过率超过98%。
• 首次对真实世界云视觉API开展基于简单、实用变换的黑盒攻击的广泛实证研究。
• 通过模型训练和预处理技术，开发并验证一种对已知ST攻击有效的防御策略。

提出的方法

• 提出使用四种常见图像操作的简单转换（ST）攻击：高斯噪声、椒盐噪声、旋转和单色化，所有操作均可通过极少的OpenCV代码实现。
• 提出图像融合（IF）攻击，一种基于空间变换的方法，通过组合多张图像生成可逃避云分类器检测的输入。
• 采用仅依赖API访问的查询高效黑盒方法，无需了解模型架构或参数信息。
• 设计一种结合模型微调和图像预处理的防御策略，使用针对特定噪声类型进行调优的自适应滤波器。
• 在基于ImageNet的数据集上评估防御效果，证明了参数敏感性以及针对不同噪声类型选择滤波器的有效性。
• 在四个主要云平台（亚马逊、谷歌、微软、Clarifai）上进行广泛实证评估，以测量攻击成功率和防御有效性。

实验结果

研究问题

• RQ1 云图像分类服务在多大程度上容易受到如噪声和旋转等简单、非对抗性图像变换的影响？
• RQ2 仅使用基本图像处理操作的黑盒攻击是否能在真实世界云视觉API上实现高逃逸率？
• RQ3 与标准ST攻击相比，所提出的图像融合（IF）攻击在绕过多个云图像分类器方面的有效性如何？
• RQ4 哪些防御机制能有效缓解已知ST攻击，且无需访问内部模型参数？
• RQ5 不同预处理滤波器及其参数如何影响图像对特定类型ST攻击的抗性？

主要发现

• 简单转换（ST）攻击在谷歌、微软和Clarifai上的成功率达到约100%，在亚马逊云服务上的成功率为约50%。
• 所提出的图像融合（IF）攻击在所有测试云平台上的绕过率均超过98%，表现出极高的有效性。
• 该攻击实用性强，仅需几行OpenCV代码即可实现，无需深度学习知识或模型访问权限。
• 本研究揭示，云图像分类器对感知上微小的变换极为敏感，这破坏了“通过隐蔽性实现安全”的假设。
• 结合模型微调和自适应预处理滤波器的防御策略能有效抵御已知ST攻击，其性能取决于滤波器的正确选择和参数调优。
• 实验结果证实，最优滤波器参数因噪声类型而异，且当滤波器与攻击类型精确匹配时，防御效果达到最大。