[论文解读] Rolling Colors: Adversarial Laser Exploits against Traffic Light Recognition

Yan Chen, Zhijian Xu+3 more|arXiv (Cornell University)|Apr 6, 2022

Ocular and Laser Science Research被引用 15

一句话总结

本文展示了激光诱导的对抗性攻击可利用CMOS相机的滚动快门漏洞，操纵自动驾驶汽车的交通灯识别。通过激光投射受控的彩色条纹，系统可使红灯被误分类为绿灯（成功率86.25%），或绿灯被误分类为红灯（成功率30%），即使在40多米外的移动车辆上也能实现。

ABSTRACT

Traffic light recognition is essential for fully autonomous driving in urban areas. In this paper, we investigate the feasibility of fooling traffic light recognition mechanisms by shedding laser interference on the camera. By exploiting the rolling shutter of CMOS sensors, we manage to inject a color stripe overlapped on the traffic light in the image, which can cause a red light to be recognized as a green light or vice versa. To increase the success rate, we design an optimization method to search for effective laser parameters based on empirical models of laser interference. Our evaluation in emulated and real-world setups on 2 state-of-the-art recognition systems and 5 cameras reports a maximum success rate of 30% and 86.25% for Red-to-Green and Green-to-Red attacks. We observe that the attack is effective in continuous frames from more than 40 meters away against a moving vehicle, which may cause end-to-end impacts on self-driving such as running a red light or emergency stop. To mitigate the threat, we propose redesigning the rolling shutter mechanism.

研究动机与目标

• 研究利用激光干涉操纵自动驾驶汽车中交通灯识别的可行性。
• 识别并利用CMOS滚动快门固有的漏洞，在图像中注入可控的彩色条纹。
• 开发一种优化方法，以确定激光参数，使攻击成功率最大化，同时保持交通灯的可检测性。
• 在真实环境和模拟环境中，针对多种相机和识别系统评估该攻击。
• 提出硬件层面的缓解措施，通过重新设计滚动快门机制来减轻该威胁。

提出的方法

• 利用CMOS传感器中的滚动快门机制，通过精确控制激光脉冲与传感器行曝光时间的同步，在交通灯区域创建空间上局部化的彩色条纹。
• 建立了激光在CMOS传感器上干扰的实验模型，用于模拟攻击效果并指导参数搜索。
• 利用实验模型生成的模拟图像，优化激光参数（如强度、持续时间、触发时机），以实现最高攻击成功率。
• 通过使用激光二极管、真实交通灯和五种不同相机（包括一辆特斯拉车辆中使用的相机）进行真实世界实验。
• 提出两种缓解措施：随机化行曝光顺序，以及每帧引入随机的起始行，以分散注入的条纹。
• 在移动车辆的连续帧中评估攻击效果，以模拟实时驾驶条件。

实验结果

研究问题

• RQ1 是否可利用CMOS滚动快门效应，通过激光干涉在相机图像中的交通灯上注入可控的彩色图案？
• RQ2 哪些激光参数（强度、持续时间、触发时机）能最大化欺骗交通灯识别的成功率，同时避免被检测？
• RQ3 该攻击是否可在远距离（例如>40米）和移动车辆的连续帧中成功？
• RQ4 在真实世界动态场景中，该攻击如何影响交通灯检测与识别系统？
• RQ5 哪些硬件层面的防御措施能有效缓解基于滚动快门的激光攻击？

主要发现

• 在真实世界测试中，该攻击成功使红灯被误分类为绿灯，最大平均成功率达到86.25%。
• 绿灯到红灯的攻击最大平均成功率为30%，表明由于颜色和亮度动态变化，攻击难度更高。
• 该攻击在距离超过40米的移动车辆上连续帧中依然有效，证明了其在真实场景中的可行性。
• 该攻击在两个最先进的开源交通灯识别系统及五种不同相机上均得到验证，其中包括一辆特斯拉车辆中使用的相机。
• 实验模型使参数搜索更加高效，显示出对激光对准和时间延迟等现实不确定因素的鲁棒性。
• 通过将滚动快门重新设计为使用随机行曝光顺序或每帧随机起始行，可有效分散条纹在图像中的分布，从而完全中和攻击。