[论文解读] Fooling thermal infrared pedestrian detectors in real world using small bulbs

Xiaopei Zhu, Xiao Li+3 more|arXiv (Cornell University)|Jan 20, 2021

Video Surveillance and Tracking Methods参考文献 23被引用 6

一句话总结

本文提出一种基于低成本、手持式电路板的物理对抗攻击，通过嵌入小型灯泡在真实世界中欺骗热成像行人检测器。该方法利用热辐射模式，使YOLOv3在真实测试中的平均精度（AP）下降34.48%，展示了对最先进红外检测系统的高度可迁移性与实际可行性。

ABSTRACT

Thermal infrared detection systems play an important role in many areas such as night security, autonomous driving, and body temperature detection. They have the unique advantages of passive imaging, temperature sensitivity and penetration. But the security of these systems themselves has not been fully explored, which poses risks in applying these systems. We propose a physical attack method with small bulbs on a board against the state of-the-art pedestrian detectors. Our goal is to make infrared pedestrian detectors unable to detect real-world pedestrians. Towards this goal, we first showed that it is possible to use two kinds of patches to attack the infrared pedestrian detector based on YOLOv3. The average precision (AP) dropped by 64.12% in the digital world, while a blank board with the same size caused the AP to drop by 29.69% only. After that, we designed and manufactured a physical board and successfully attacked YOLOv3 in the real world. In recorded videos, the physical board caused AP of the target detector to drop by 34.48%, while a blank board with the same size caused the AP to drop by 14.91% only. With the ensemble attack techniques, the designed physical board had good transferability to unseen detectors. We also proposed the first physical multispectral (infrared and visible) attack. By using a combination method, we successfully hide from the visible light and infrared object detection systems at the same time.

研究动机与目标

• 研究热成像行人检测系统在真实场景中对物理对抗攻击的脆弱性。
• 设计并实现一种基于小型灯泡的低成本、便携式物理攻击装置，可发射受控的热辐射模式。
• 评估该攻击在不同最先进红外行人检测器之间的可迁移性。
• 量化该攻击在真实世界条件下相较于空白板等基线控制组的有效性。
• 探索基于集成模型的补丁设计，以提升攻击对未见检测器的泛化能力。

提出的方法

• 使用35cm × 35cm的硬纸板设计物理攻击板，通过排列小型灯泡以发射特定热辐射模式。
• 采用由八节4.5V电池供电的专用电路，实现实时控制灯泡的热辐射输出。
• 在数字域中使用基于高斯函数的图案与像素级扰动生成对抗补丁。
• 利用YOLOv3、Faster R-CNN与Mask R-CNN的模型集成训练对抗补丁，以提升可迁移性。
• 在真实光照与环境条件下，通过热成像相机（HTI-301，384×288分辨率，NETD <60mK）模拟并验证热辐射模式。
• 开展受控实验，让真实行人手持物理攻击板、空白板或不持任何物体，以测量检测失败率。

实验结果

研究问题

• RQ1 能否在真实世界条件下成功对热成像行人检测器实施物理对抗攻击？
• RQ2 基于灯泡的热辐射模式在降低最先进红外目标检测器性能方面的效果如何？
• RQ3 该攻击在未参与训练的检测器上的可迁移性达到何种程度？
• RQ4 该物理攻击与具有相似尺寸和形状的惰性物体引起的基线效应相比，表现如何？
• RQ5 基于集成模型的训练是否能提升对抗补丁在多种检测器架构间的可迁移性？

主要发现

• 在真实世界视频记录中，物理攻击板使YOLOv3检测器的平均精度（AP）下降34.48%，而相同尺寸的空白板仅导致14.91%的下降。
• 在数字世界中，所提补丁使YOLOv3的AP下降64.12%，显著优于空白板的29.69%下降幅度。
• 基于集成的补丁在数字评估中使Cascade R-CNN的AP下降35.28%，RetinaNet下降46.95%，展现出强大的可迁移性。
• 在真实世界测试中，集成补丁使Cascade R-CNN的AP下降21.67%，RetinaNet下降25.17%，证实了跨模型的有效性。
• 在1853个真实世界画面中，物理攻击成功导致行人被攻击板遮挡时检测失败，而空白板则未造成显著影响，检测保持稳健。
• 整个物理装置成本低于5美元，证明该方法在真实部署中既有效又具备经济可行性。