[论文解读] GhostImage: Remote Perception Attacks against Camera-based Image Classification Systems

Yanmao Man, Ming Li+1 more|arXiv (Cornell University)|Jan 21, 2020

Adversarial Robustness in Machine Learning被引用 13

一句话总结

GhostImage 提出了一种远程、隐蔽的攻击方式，通过利用镜头眩光和自动曝光效应，将对抗性图案作为幽灵图像注入基于摄像头的图像分类系统。使用低成本投影仪和优化的信道模型，该攻击在短距离条件下实现了高达100%的成功率，可创建或修改交通标志等物体。

ABSTRACT

In vision-based object classification systems imaging sensors perceive the environment and machine learning is then used to detect and classify objects for decision-making purposes; e.g., to maneuver an automated vehicle around an obstacle or to raise an alarm to indicate the presence of an intruder in surveillance settings. In this work we demonstrate how the perception domain can be remotely and unobtrusively exploited to enable an attacker to create spurious objects or alter an existing object. An automated system relying on a detection/classification framework subject to our attack could be made to undertake actions with catastrophic results due to attacker-induced misperception. We focus on camera-based systems and show that it is possible to remotely project adversarial patterns into camera systems by exploiting two common effects in optical imaging systems, viz., lens flare/ghost effects and auto-exposure control. To improve the robustness of the attack to channel effects, we generate optimal patterns by integrating adversarial machine learning techniques with a trained end-to-end channel model. We experimentally demonstrate our attacks using a low-cost projector, on three different image datasets, in indoor and outdoor environments, and with three different cameras. Experimental results show that, depending on the projector-camera distance, attack success rates can reach as high as 100% and under targeted conditions.

研究动机与目标

• 证明基于摄像头的图像分类系统可通过光学效应实现远程操控，而无需物理访问。
• 利用镜头眩光和自动曝光控制作为攻击向量，将对抗性图案注入摄像头画面。
• 开发一个能够考虑信道失真和投影仪-摄像头几何关系的鲁棒攻击框架。
• 仅通过光投影实现创建或修改物体（例如，将“STOP”标志更改为“YIELD”标志）并取得高成功率。
• 通过真实世界硬件在多种环境和摄像头系统中验证该攻击。

提出的方法

• 利用镜头眩光效应——由不完美镜片中的光折射和反射引起——将对抗性图案作为幽灵伪影投影到摄像头图像中。
• 利用自动曝光控制增强幽灵图像的可见性，通过使背景变暗、投影图案变亮来实现。
• 构建基于物理设置的投影仪-摄像头信道模型，以预测幽灵图像的分辨率、颜色和位置。
• 将对抗性机器学习与信道模型结合，优化攻击图案以在分辨率受限条件下被分类器识别。
• 使用低成本投影仪远程注入图案，既不会致盲摄像头，也无需物理访问设备。
• 通过三台摄像头、三个数据集以及室内外环境的真实世界设置验证该攻击。

实验结果

研究问题

• RQ1 是否可以仅通过光投影将对抗性图案注入摄像头画面，而无需直接访问传感器或物理修改？
• RQ2 镜头眩光和自动曝光效应如何实现对图像分类系统的远程操控？
• RQ3 投影仪-摄像头距离在多大程度上影响注入幽灵图案的分辨率和可检测性？
• RQ4 在长距离导致分辨率降低的约束条件下，对抗性图案优化能否提升攻击成功率？
• RQ5 该攻击在多种真实世界环境和摄像头型号中的有效性如何？

主要发现

• 在短距离投影仪-摄像头距离下，该攻击在创建对抗性物体方面实现了100%的成功率，证明了对分类结果的完全控制。
• 随着距离增加，攻击成功率显著下降，原因在于幽灵图像分辨率降低，凸显了近距离的重要性。
• 在4×4分辨率下，光束分离方法实现了55%的整体攻击成功率，验证了在光学条件受限下的可行性。
• 将对抗性机器学习与训练好的信道模型结合，显著提升了注入图案的鲁棒性和识别准确率。
• 该方法成功将“STOP”标志作为幽灵图像注入，并被 YOLOv3 正确检测和分类，证实了远程感知欺骗的可行性。
• 理论分析表明，若不通过遮挡原始物体，仅通过附加透镜直接在物体图像上叠加噪声是不可行的，进一步证明了间接注入方法（如幽灵化）的必要性。