[论文解读] Simple Physical Adversarial Examples against End-to-End Autonomous Driving Models

Adith Boloor, Xin He+3 more|arXiv (Cornell University)|Mar 12, 2019

Adversarial Robustness in Machine Learning参考文献 18被引用 15

一句话总结

本文展示了简单的、物理上可实现的对抗性样本——具体而言，道路上的黑色涂鸦线条——能够成功欺骗端到端深度学习自动驾驶仿真模型。通过利用模型将涂鸦线条误认为是物理障碍物的机制，这些攻击在右转时引发危险的转向错误，去卷积分析显示，模型将对抗性图案激活为类似路缘的结构。

ABSTRACT

Recent advances in machine learning, especially techniques such as deep neural networks, are promoting a range of high-stakes applications, including autonomous driving, which often relies on deep learning for perception. While deep learning for perception has been shown to be vulnerable to a host of subtle adversarial manipulations of images, end-to-end demonstrations of successful attacks, which manipulate the physical environment and result in physical consequences, are scarce. Moreover, attacks typically involve carefully constructed adversarial examples at the level of pixels. We demonstrate the first end-to-end attacks on autonomous driving in simulation, using simple physically realizable attacks: the painting of black lines on the road. These attacks target deep neural network models for end-to-end autonomous driving control. A systematic investigation shows that such attacks are surprisingly easy to engineer, and we describe scenarios (e.g., right turns) in which they are highly effective, and others that are less vulnerable (e.g., driving straight). Further, we use network deconvolution to demonstrate that the attacks succeed by inducing activation patterns similar to entirely different scenarios used in training.

研究动机与目标

• 研究使用简单、现实世界操作的端到端物理对抗攻击在端到端自动驾驶模型上的可行性。
• 评估物理上可实现的、低复杂度的攻击（如涂鸦线条）是否会导致实际物理后果，例如车道偏离或碰撞。
• 分析此类攻击成功背后的机制，特别是模型如何将涂鸦线条误分类为道路障碍物。
• 证明即使鲁棒的端到端模型也容易受到细微、语义上不显眼的物理扰动影响。
• 提供一种系统化的框架，用于生成和分析此类攻击，结合去卷积可视化技术。

提出的方法

• 作者使用仿真环境测试通过模仿学习训练的基于端到端深度学习的自动驾驶控制器。
• 通过在道路上绘制单条或双条黑色线条生成物理对抗性样本，模拟真实世界中的瑕疵（如轮胎痕迹）。
• 通过观察转向角度偏差及实际结果（如车道偏离或碰撞）来衡量攻击成功率。
• 应用网络去卷积（DeConvNet）可视化神经网络中哪些输入像素激活了高层特征，特别关注第五个卷积层。
• 去卷积过程通过反转批归一化、转置卷积和ReLU操作，从特征图中重建显著的输入特征。
• 案例研究对比基线驾驶行为（如右转）与对抗性条件，以识别误分类模式，例如将涂鸦线条误认为路缘。

实验结果

研究问题

• RQ1 简单的、物理上可实现的对抗性模式（如涂鸦黑色线条）是否会导致端到端自动驾驶模型做出危险驾驶决策？
• RQ2 哪些驾驶场景最易受此类物理对抗攻击影响，原因是什么？
• RQ3 对抗性模式（如涂鸦线条）如何诱导模型发生误分类，它们激活了哪些视觉特征？
• RQ4 这些攻击在多大程度上利用了模型对道路几何结构感知的结构性弱点？
• RQ5 去卷积技术能否揭示物理对抗性样本导致模型失效的内部推理机制？

主要发现

• 右转是最脆弱的驾驶场景，涂鸦双线导致模型急剧向左转向，引发车道偏离或碰撞。
• 模型将涂鸦黑色线条误认为是物理障碍物（如路缘），从而引发不必要的避让操作。
• 去卷积可视化证实，网络中激活最强烈的特征对应于涂鸦的对抗性线条，而非实际的道路标记。
• 即使在正常条件下表现稳健的模型，该攻击依然有效，表明其在感知到控制映射中存在根本性漏洞。
• 攻击成功的原因在于模型学习将特定视觉模式（如线条）与高层语义概念（如障碍物）关联，即使这些模式在语义上无关紧要。
• 本研究证明，简单的、低成本的物理操作可绕过人类直觉，导致端到端自动驾驶系统发生灾难性故障。