[论文解读] Dirty Road Can Attack: Security of Deep Learning based Automated Lane Centering under Physical-World Attack

Takami Sato, Junjie Shen+4 more|arXiv (Cornell University)|Sep 14, 2020

Adversarial Robustness in Machine Learning参考文献 77被引用 24

一句话总结

本文提出了一种名为DRP（脏路补丁）的新型物理世界对抗性攻击，针对基于深度学习的自动驾驶车道居中（ALC）系统，使用逼真的道路补丁作为扰动。通过结合车辆运动模型、透视变换以及可微分的车道弯曲目标函数，该攻击在0.9秒内实现了超过97.5%的成功率——快于人类反应时间——并在模拟环境中导致100%的碰撞率，即使启用了安全功能亦然。

ABSTRACT

Automated Lane Centering (ALC) systems are convenient and widely deployed today, but also highly security and safety critical. In this work, we are the first to systematically study the security of state-of-the-art deep learning based ALC systems in their designed operational domains under physical-world adversarial attacks. We formulate the problem with a safety-critical attack goal, and a novel and domain-specific attack vector: dirty road patches. To systematically generate the attack, we adopt an optimization-based approach and overcome domain-specific design challenges such as camera frame inter-dependencies due to attack-influenced vehicle control, and the lack of objective function design for lane detection models. We evaluate our attack on a production ALC using 80 scenarios from real-world driving traces. The results show that our attack is highly effective with over 97.5% success rates and less than 0.903 sec average success time, which is substantially lower than the average driver reaction time. This attack is also found (1) robust to various real-world factors such as lighting conditions and view angles, (2) general to different model designs, and (3) stealthy from the driver's view. To understand the safety impacts, we conduct experiments using software-in-the-loop simulation and attack trace injection in a real vehicle. The results show that our attack can cause a 100% collision rate in different scenarios, including when tested with common safety features such as automatic emergency braking. We also evaluate and discuss defenses.

研究动机与目标

• 系统性地研究最先进的基于深度学习的自动驾驶车道居中（ALC）系统在其设计运行领域（即带有车道线的道路）中，面对物理世界对抗性攻击的安全性。
• 解决两个关键挑战：(1) 由于攻击影响车辆控制而产生的帧间依赖性；(2) 车道检测模型缺乏可微分的目标函数。
• 设计一种新颖的、领域特定的攻击向量——脏路补丁——具备隐蔽性、真实感和物理可实现性。
• 评估该攻击在多种真实世界条件和模型架构下的有效性、鲁棒性与泛化能力。
• 通过软硬件在环仿真和真实车辆注入，评估该攻击的安全影响，并评估现有防御措施。

提出的方法

• 提出DRP（脏路补丁）作为新型攻击向量：带有逼真污渍或污迹图案的恶意道路补丁，模仿正常道路瑕疵以实现隐蔽性。
• 开发了一种基于优化的攻击生成方法，整合车辆运动模型与透视变换，以动态模拟在攻击影响下的车辆控制所导致的帧更新。
• 提出一种可微分的车道弯曲目标函数，作为转向角优化的代理，克服横向控制模块的不可微性。
• 采用领域特定设计，提升对光照、视角和物理世界实现的鲁棒性，确保实际可行性。
• 使用真实世界驾驶轨迹（来自comma2k19的80个场景）评估该攻击在OpenPilot（一款生产级ALC系统）上的表现。
• 通过五种方法评估防御效果：JPEG压缩、位深降低、高斯噪声、中值模糊，以及基于四种架构（在真实驾驶数据上训练）的自编码器重构。

实验结果

研究问题

• RQ1 在真实条件下，物理世界对抗性攻击能否成功破坏基于深度学习的ALC系统在其设计运行领域——即带有车道线的道路——中的正常运行？
• RQ2 DRP攻击在实现导致车道偏离的目标方面有多高效，是否快于普通人类驾驶员的反应时间？
• RQ3 DRP攻击在面对光照变化、视角变化和摄像头运动等现实世界变化时，其鲁棒性如何？
• RQ4 DRP攻击在不同ALC模型架构和真实世界驾驶场景中的泛化能力如何？
• RQ5 现有的深度神经网络级防御方法能否有效缓解DRP攻击，哪些方法最为有效？

主要发现

• DRP攻击在80个真实世界驾驶场景中实现了97.5%的成功率，平均成功时间为0.897秒——显著快于普通人类驾驶员的反应时间。
• 在软硬件在环模拟中，该攻击在多样化场景下导致100%的碰撞率，包括启用了自动紧急制动功能的场景。
• 该攻击对光照条件变化、视角变化和摄像头运动具有鲁棒性，在真实物理约束下仍保持高效率。
• 该攻击在不同ALC模型架构间具有泛化能力，即使攻击者对目标模型了解有限，依然有效。
• 防御措施如JPEG压缩（质量≤20）和中值模糊（核大小≥15×15）表现出部分有效性，但使用Arch-2架构的自编码器重构提供了最强防御，将攻击成功率降低高达60%。
• 从驾驶员视角看，DRP攻击具有隐蔽性，因为恶意补丁外观类似自然道路瑕疵，难以被察觉。