[论文解读] Attacking Object Detector Using A Universal Targeted Label-Switch Patch

Avishag Shapira, Ron Bitton+4 more|arXiv (Cornell University)|Nov 16, 2022

Adversarial Robustness in Machine Learning被引用 5

一句话总结

本文提出了一种通用的、有针对性的、标签切换的对抗性贴纸，可导致基于YOLO的目标检测器将汽车误分类为公共汽车或其他车辆。通过使用定制的投影函数和一种新型损失函数，该贴纸在数字领域和物理领域均实现了超过90%的成功率，即使应用于不同车体部位、角度和距离时也表现良好。

ABSTRACT

Adversarial attacks against deep learning-based object detectors (ODs) have been studied extensively in the past few years. These attacks cause the model to make incorrect predictions by placing a patch containing an adversarial pattern on the target object or anywhere within the frame. However, none of prior research proposed a misclassification attack on ODs, in which the patch is applied on the target object. In this study, we propose a novel, universal, targeted, label-switch attack against the state-of-the-art object detector, YOLO. In our attack, we use (i) a tailored projection function to enable the placement of the adversarial patch on multiple target objects in the image (e.g., cars), each of which may be located a different distance away from the camera or have a different view angle relative to the camera, and (ii) a unique loss function capable of changing the label of the attacked objects. The proposed universal patch, which is trained in the digital domain, is transferable to the physical domain. We performed an extensive evaluation using different types of object detectors, different video streams captured by different cameras, and various target classes, and evaluated different configurations of the adversarial patch in the physical domain.

研究动机与目标

• 开发一种通用的、有针对性的、标签切换攻击，使真实世界中的目标检测系统将汽车误分类为其他车辆类型（例如公共汽车）。
• 确保对抗性贴纸在实际物体（例如汽车引擎盖）上应用时仍有效，而非仅在图像中数字插入。
• 设计一种贴纸，使其在真实世界（物理）部署中，面对不同距离、角度和摄像头视角时仍保持高成功率。
• 创建一种在数字领域训练的方法，确保其在物理世界应用中具有可转移性并保持一致性能。
• 在多种汽车类型、颜色和位置下实现鲁棒的、通用的误分类，同时最小化误报（双重检测）。

提出的方法

• 一种定制的投影函数将对抗性贴纸映射到场景中的多辆汽车上，考虑了距离、角度和车体形状的差异，确保贴纸在物体上的真实感放置。
• 设计了一种新型损失函数，通过防止模型将目标物体误分类为源类别（汽车）或目标类别（公共汽车）以外的类别，稳定训练过程，实现收敛。
• 在数字领域使用真实世界交通场景的数据集对贴纸进行训练，以实现对多样化视觉条件的泛化能力。
• 优化贴纸以应对物体在图像中尺度、方向和位置的变化，增强其向物理部署的可转移性。
• 该方法利用通用贴纸公式，确保在不同目标检测器和视频流中保持有效性。
• 通过在纸上打印贴纸并在真实光照和摄像头条件下对遥控玩具车进行测试，验证了其物理部署效果。

实验结果

研究问题

• RQ1 是否能在数字领域成功训练出一种通用对抗性贴纸，并有效转移到物理世界，将汽车误分类为公共汽车？
• RQ2 与标准中心定位贴纸放置相比，所提出的投影函数在提升鲁棒性和成功率方面有何改进？
• RQ3 新型损失函数在多大程度上稳定了训练过程并防止了标签切换过程中的发散？
• RQ4 当贴纸应用于汽车的不同部位（例如引擎盖、尾箱、车门）或形状改变时，其在物理领域的有效性如何？
• RQ5 该贴纸在不同目标检测器和由不同摄像头捕获的视频流之间的可转移性如何？

主要发现

• 在物理领域，该对抗性贴纸将玩具汽车从'汽车'误分类为'公共汽车'的成功率达到95.9%，双重检测率仅为7.5%。
• 该贴纸在不同目标类别中保持了高效率（超过90%），应用于真实汽车时，'公共汽车'类别成功率达到94.6%，'卡车'类别为88.9%。
• 当贴纸贴在汽车尾箱上时，成功率为83%，贴在车门上时为94.2%，表明其对贴附位置变化具有强鲁棒性。
• 当贴纸被重塑为窄长矩形时，性能下降至72.6%，表明形状一致性对最优性能至关重要。
• 消融实验表明，使用基于IoU的候选选择方法将成功率从55.3%提升至94.6%，凸显其在训练中的重要性。
• 投影函数显著优于标准中心定位放置方法，成功率在68.6%至70.1%之间，而本方法达到95.9%。