[论文解读] Hold Tight and Never Let Go: Security of Deep Learning based Automated Lane Centering under Physical-World Attack

Takami Sato, Junjie Shen+4 more|arXiv (Cornell University)|Sep 14, 2020

Adversarial Robustness in Machine Learning参考文献 64被引用 14

一句话总结

本文提出了一种使用脏污路面贴纸的物理世界对抗攻击，以破坏基于深度学习的自动车道居中（ALC）系统。通过在安全关键目标下优化攻击贴纸，并考虑动态车辆执行和模型设计约束，该方法在不到0.95秒内实现超过92%的成功率，导致车道保持失败——快于人类反应时间——并在真实世界仿真场景中分别以98%和100%的成功率引发碰撞。

ABSTRACT

Automated Lane Centering (ALC) systems are convenient and widely deployed today, but also highly security and safety critical. In this work, we are the first to systematically study the security of state-of-the-art deep learning based ALC systems in their designed operational domains under physical-world adversarial attacks. We formulate the problem with a safety-critical attack goal, and a novel and domain-specific attack vector: dirty road patches. To systematically generate the attack, we adopt an optimization-based approach and overcome domain-specific design challenges such as camera frame inter-dependencies due to dynamic vehicle actuation, and the lack of objective function design for lane detection models. We evaluate our attack method on a production ALC system using 80 attack scenarios from real-world driving traces. The results show that our attack is highly effective with over 92% success rates and less than 0.95 sec average success time, which is substantially lower than the average driver reaction time. Such high attack effectiveness is also found (1) robust to motion model inaccuracies, different lane detection model designs, and physical-world factors, and (2) stealthy from the driver's view. To concretely understand the end-to-end safety consequences, we further evaluate on concrete real-world attack scenarios using a production-grade simulator, and find that our attack can successfully cause the victim to hit the highway concrete barrier or a truck in the opposite direction with 98% and 100% success rates. We also discuss defense directions.

研究动机与目标

• 研究最先进的基于深度学习的自动车道居中（ALC）系统在物理世界对抗攻击下的安全漏洞。
• 识别并利用一种新型攻击向量——专为ALC系统运行领域设计的脏污路面贴纸。
• 开发一种基于优化的攻击生成方法，考虑动态车辆执行和车道检测模型中缺乏目标函数的问题。
• 在存在运动模型不准确性和物理世界因素的情况下，评估攻击在真实驾驶条件下的有效性。
• 通过高保真度模拟真实世界碰撞场景，评估攻击的端到端安全后果。

提出的方法

• 将攻击建模为一个以诱导车道偏离为目标的安全关键优化问题。
• 设计一种新型攻击向量——具有污渍或污垢图案的物理路面贴纸，专为真实世界ALC系统运行而定制。
• 通过在优化过程中引入时间建模，解决由动态车辆执行引起的图像帧间依赖性。
• 通过利用从模型行为和视觉特征中提取的替代目标，克服车道检测模型中缺乏目标函数的问题。
• 使用迭代优化生成对抗性贴纸，以在真实驾驶条件下最大化车道检测失败的可能性。
• 使用真实驾驶轨迹和生产级仿真器验证攻击，以评估安全结果。

实验结果

研究问题

• RQ1 物理世界中的对抗性贴纸能否在真实驾驶场景中有效破坏基于深度学习的自动车道居中系统？
• RQ2 在存在运动模型不准确性和物理世界噪声的情况下，该攻击的有效性如何？
• RQ3 从驾驶员的视觉角度看，该攻击在多大程度上具有隐蔽性？
• RQ4 该攻击的端到端安全后果是什么，例如与护栏或迎面来车发生碰撞的可能性？
• RQ5 该攻击在不同车道检测模型架构和物理部署条件下具有多高的鲁棒性？

主要发现

• 所提出的攻击在80个真实驾驶场景中，导致车道偏离的成功率超过92%。
• 成功攻击的平均耗时小于0.95秒，显著快于普通人类驾驶员的反应时间。
• 该攻击在运动模型不准确、不同车道检测模型设计以及各种物理世界因素下仍保持有效且鲁棒。
• 该攻击在视觉上具有隐蔽性，驾驶员在运行过程中无法察觉明显视觉线索。
• 在仿真中，该攻击在98%的测试案例中导致与高速公路混凝土护栏的碰撞，在100%的案例中导致与迎面卡车的碰撞。
• 该攻击在真实部署环境中表现出高度的可迁移性和实际可行性。