[论文解读] Google's Cloud Vision API Is Not Robust To Noise

Hossein Hosseini, Baicen Xiao+1 more|arXiv (Cornell University)|Apr 16, 2017

Adversarial Robustness in Machine Learning参考文献 16被引用 11

一句话总结

本文表明，Google Cloud Vision API 对输入噪声极为脆弱，即使添加极小的脉冲噪声或高斯噪声，也能导致该 API 完全误分类图像，尽管人类观察者仍能清晰识别原始内容。关键发现是，在处理前应用简单的噪声滤波器可恢复 API 的准确性，表明无需重新训练底层模型即可实现鲁棒性。

ABSTRACT

Google has recently introduced the Cloud Vision API for image analysis. According to the demonstration website, the API "quickly classifies images into thousands of categories, detects individual objects and faces within images, and finds and reads printed words contained within images." It can be also used to "detect different types of inappropriate content from adult to violent content." In this paper, we evaluate the robustness of Google Cloud Vision API to input perturbation. In particular, we show that by adding sufficient noise to the image, the API generates completely different outputs for the noisy image, while a human observer would perceive its original content. We show that the attack is consistently successful, by performing extensive experiments on different image types, including natural images, images containing faces and images with texts. For instance, using images from ImageNet dataset, we found that adding an average of 14.25% impulse noise is enough to deceive the API. Our findings indicate the vulnerability of the API in adversarial environments. For example, an adversary can bypass an image filtering system by adding noise to inappropriate images. We then show that when a noise filter is applied on input images, the API generates mostly the same outputs for restored images as for original images. This observation suggests that cloud vision API can readily benefit from noise filtering, without the need for updating image analysis algorithms.

研究动机与目标

• 评估 Google Cloud Vision API 在对抗性噪声扰动下的鲁棒性。
• 探究噪声是否可欺骗 API 生成错误标签，或导致其无法检测物体、人脸或文本。
• 确定在输入受损情况下，通过噪声滤波预处理是否可恢复 API 的性能。
• 评估噪声滤波是否可作为一种实用的、与模型无关的解决方案，以在不修改视觉模型的前提下提升鲁棒性。

提出的方法

• 本研究使用脉冲噪声和高斯噪声对 ImageNet 和 Faces94 数据集中的图像进行扰动。
• 在不同密度下（例如 10% 至 20% 的脉冲噪声）施加噪声，以测试 API 输出与原始结果发生偏离的临界阈值。
• 应用加权平均滤波器以恢复噪声图像，模拟预处理防御机制。
• 对高斯噪声污染的图像使用低通滤波器，以评估恢复效果。
• 比较原始图像、噪声图像和恢复图像的 API 输出标签，以评估标签一致性。
• 通过 PSNR 量化图像恢复质量，通过标签相似性衡量鲁棒性。

实验结果

研究问题

• RQ1 向图像中添加噪声是否会导致 Google Cloud Vision API 生成完全错误的标签，同时仍保持人类可读？
• RQ2 在不同类型的图像中，需要多大程度的噪声（脉冲或高斯）才能持续欺骗 API？
• RQ3 在受损输入上应用噪声滤波是否可恢复 API 的原始标记准确性？
• RQ4 噪声滤波是否可作为一种实用的、与模型无关的防御手段，在不重新训练视觉模型的前提下提升鲁棒性？

主要发现

• 在 ImageNet 图像上添加平均 14.25% 的脉冲噪声，已足以欺骗 Google Cloud Vision API 生成无关的标签。
• 对于人脸图像，平均需 23.8% 的脉冲噪声密度才能欺骗 API，表明在人脸识别任务中敏感性更高。
• 即使文本对人类仍可读，API 在噪声图像中仍无法检测到文本，表明其在文本识别方面存在脆弱性。
• 在处理前应用噪声滤波器后，API 生成的标签与原始图像的标签基本相同，表明功能已有效恢复。
• 恢复后的图像相对于原始图像的 PSNR 值分别为 33.16 dB、37.26 dB 和 40.05 dB，表明视觉保真度极高。
• 结果证实，噪声滤波是一种可行的即插即用型对策，可在无需更新模型的情况下恢复 API 性能。