[论文解读] Attacking Vision-based Perception in End-to-End Autonomous Driving Models

Adith Boloor, Karthik Garimella+4 more|arXiv (Cornell University)|Oct 2, 2019

Adversarial Robustness in Machine Learning参考文献 36被引用 9

一句话总结

本文提出了一套系统性框架，通过在道路上绘制黑色线条，对端到端自动驾驶模型实施物理上可实现的对抗攻击。通过利用贝叶斯优化和新型目标函数，作者证明了简单且不起眼的道路标记可引发严重物理影响——如车道偏离和碰撞，尤其在右转时更为显著，甚至可实现劫持攻击，使车辆沿攻击者选定的路径行驶。

ABSTRACT

Recent advances in machine learning, especially techniques such as deep neural networks, are enabling a range of emerging applications. One such example is autonomous driving, which often relies on deep learning for perception. However, deep learning-based perception has been shown to be vulnerable to a host of subtle adversarial manipulations of images. Nevertheless, the vast majority of such demonstrations focus on perception that is disembodied from end-to-end control. We present novel end-to-end attacks on autonomous driving in simulation, using simple physically realizable attacks: the painting of black lines on the road. These attacks target deep neural network models for end-to-end autonomous driving control. A systematic investigation shows that such attacks are easy to engineer, and we describe scenarios (e.g., right turns) in which they are highly effective. We define several objective functions that quantify the success of an attack and develop techniques based on Bayesian Optimization to efficiently traverse the search space of higher dimensional attacks. Additionally, we define a novel class of hijacking attacks, where painted lines on the road cause the driver-less car to follow a target path. Through the use of network deconvolution, we provide insights into the successful attacks, which appear to work by mimicking activations of entirely different scenarios. Our code is available at https://github.com/xz-group/AdverseDrive

研究动机与目标

• 研究端到端深度学习自动驾驶系统对物理上可实现、简单且不起眼的环境扰动的脆弱性。
• 弥合孤立对抗样本与闭环自动驾驶控制系统中实际物理后果之间的差距。
• 开发一种高效的优化策略，以生成最大化物理故障结果（如碰撞、车道偏离）的高影响力对抗攻击。
• 探索并展示新型劫持攻击，即通过绘制线条迫使车辆沿与正确路线不同的目标路径行驶。
• 通过网络去卷积技术揭示攻击成功的原因，可视化神经激活空间中的显著特征。

提出的方法

• 作者使用CARLA自动驾驶模拟器，在受控的物理扰动下评估端到端模型的表现。
• 定义了多种目标函数以量化攻击成功率，包括车道偏离、碰撞事件以及与预期路线的路径偏差。
• 采用贝叶斯优化，在高维的涂鸦线条图案空间（如位置、长度、方向）中高效搜索，以最大化攻击效果。
• 引入一类新型“劫持”攻击，即通过绘制线条将车辆引导至目标路径，即使该路径与正确驾驶行为相悖。
• 应用网络去卷积（DeConvNet）技术，可视化激活第五卷积层中响应最高的输入特征（如绘制的线条），揭示攻击如何模仿道路护栏或障碍物。
• 该方法聚焦于单条或多条线条图案，其语义上不显眼——如刹车痕迹或施工标记——使其在物理上可实现且难以察觉。

实验结果

研究问题

• RQ1 简单的、物理上可实现的道路标记（如绘制的黑色线条）是否能引致端到端自动驾驶模型出现重大物理故障？
• RQ2 此类攻击在不同驾驶场景（如右转、左转和直线行驶）中的有效性如何变化？
• RQ3 贝叶斯优化能否在高维攻击空间中高效生成高影响力对抗模式？
• RQ4 绘制的线条在多大程度上可用于劫持车辆行为，使其沿攻击者选定的路径行驶？
• RQ5 哪些内部神经激活解释了为何某些绘制图案会导致误分类？这些图案如何模仿真实道路特征（如护栏或障碍物）？

主要发现

• 右转是最脆弱的驾驶场景，绘制的黑色线条可导致车辆向左转向并发生碰撞，即使线条在语义上不显眼。
• 与直线行驶相比，右转场景中的攻击成功率显著更高，后者对这类扰动具有较强的鲁棒性。
• 通过使用设计良好的目标函数的贝叶斯优化，作者成功生成了能引发模拟环境中车道偏离和碰撞的对抗模式。
• 网络去卷积显示，模型将绘制的线条误认为是物理障碍物或护栏，从而导致错误的转向决策（如在右转时进行急左转）。
• 劫持攻击成功地将车辆引导至与正确路线不同的目标路径，展示了新型高影响力对抗威胁。
• 可视化结果证实，网络中激活最强的特征对应于绘制的对抗性线条，而非实际道路标记，表明模型被图案的空间布局所误导。