[论文解读] Adversarial Driving: Attacking End-to-End Autonomous Driving Systems.

Han Wu, Wenjie Ruan|arXiv (Cornell University)|Mar 16, 2021

Adversarial Robustness in Machine Learning参考文献 9被引用 6

一句话总结

本文提出两种针对端到端自动驾驶系统的实时、白盒定向对抗攻击，通过细微扰动输入图像来操纵转向预测。这些攻击在无需GPU的情况下即可在CPU上成功欺骗模型，揭示了基于回归的安全关键型驾驶系统中的严重漏洞。

ABSTRACT

As the research in deep neural networks advances, deep convolutional networks become feasible for automated driving tasks. There is an emerging trend of employing end-to-end models in the automation of driving tasks. However, previous research unveils that deep neural networks are vulnerable to adversarial attacks in classification tasks. While for regression tasks such as autonomous driving, the effect of these attacks remains rarely explored. In this research, we devise two white-box targeted attacks against end-to-end autonomous driving systems. The driving model takes an image as input and outputs the steering angle. Our attacks can manipulate the behaviour of the autonomous driving system only by perturbing the input image. Both attacks can be initiated in real-time on CPUs without employing GPUs. This demo aims to raise concerns over applications of end-to-end models in safety-critical systems.

研究动机与目标

• 研究端到端深度学习模型在自动驾驶中对对抗性攻击的脆弱性。
• 填补对基于回归的任务（如转向角预测）对抗鲁棒性理解的空白。
• 开发通过最小输入扰动操纵驾驶行为的实时、白盒攻击。
• 证明此类攻击无需GPU即可实现，引发对生产系统安全性的担忧。

提出的方法

• 攻击设计为针对端到端自动驾驶模型转向角预测回归输出的定向白盒攻击。
• 通过可微分损失函数优化扰动，以最小化预测转向角与目标转向角之间的差异。
• 将攻击表述为对输入图像像素的优化问题，以生成对抗性样本。
• 通过高效优化和梯度计算，实现在CPU上的实时运行。
• 攻击直接应用于原始摄像头图像，模拟真实驾驶环境。
• 该方法仅需模型的梯度信息，无需访问其内部架构。

实验结果

研究问题

• RQ1 定向对抗攻击能否成功操纵端到端自动驾驶模型的转向角预测？
• RQ2 在无GPU加速的情况下，这些攻击在实时性方面效果如何？
• RQ3 微小且难以察觉的图像扰动能在多大程度上改变基于回归的驾驶系统的行为？
• RQ4 此类攻击在计算资源需求极低的真实部署环境中是否可行？

主要发现

• 所提出的攻击能以高成功率生成对抗性样本，使模型输出目标转向角。
• 攻击可在CPU上实时执行，证明无需专用硬件即可实现。
• 扰动微小且不可察觉，保持视觉真实性的同时引发显著行为改变。
• 攻击表明端到端驾驶模型易受通过输入级扰动的定向操纵。
• 结果凸显了依赖端到端深度学习的安全关键系统中存在严重安全漏洞。