[论文解读] Are Self-Driving Cars Secure? Evasion Attacks against Deep Neural Networks for Steering Angle Prediction

Alesia Chernikova, Alina Oprea+2 more|arXiv (Cornell University)|Apr 15, 2019

Adversarial Robustness in Machine Learning被引用 12

一句话总结

本文表明，用于自动驾驶汽车转向角预测的深度神经网络容易受到使用极小、难以察觉的图像扰动的逃避攻击。通过应用基于Carlini & Wagner方法的对抗攻击，作者在仅使用$ L_2 $扰动0.82的情况下实现了100%的误分类成功率，并使均方误差（MSE）最高增加69倍，揭示了自动驾驶车辆感知系统中关键的安全风险。

ABSTRACT

Deep Neural Networks (DNNs) have tremendous potential in advancing the vision for self-driving cars. However, the security of DNN models in this context leads to major safety implications and needs to be better understood. We consider the case study of steering angle prediction from camera images, using the dataset from the 2014 Udacity challenge. We demonstrate for the first time adversarial testing-time attacks for this application for both classification and regression settings. We show that minor modifications to the camera image (an L2 distance of 0.82 for one of the considered models) result in mis-classification of an image to any class of attacker's choice. Furthermore, our regression attack results in a significant increase in Mean Square Error (MSE) by a factor of 69 in the worst case.

研究动机与目标

• 研究用于自动驾驶车辆的深度神经网络在转向角预测方面的安全漏洞。
• 评估在实时驾驶场景中，对分类和回归模型的逃避攻击的可行性和影响。
• 证明微小、难以察觉的图像扰动可导致转向角模型出现显著误判。
• 量化成功攻击所需的最小扰动，并评估模型性能指标（如MSE）的退化程度。
• 强调在自动驾驶等安全关键应用中，对深度学习系统进行鲁棒性和安全加固的紧迫需求。

提出的方法

• 将Carlini & Wagner逃避攻击框架适配至转向角预测任务，使用2014年Udacity挑战赛的数据集。
• 在两种CNN架构（Epoch和NVIDIA）上，分别对分类（转向方向）和回归（连续转向角）设置应用攻击。
• 使用二分查找优化攻击超参数$c$，以平衡扰动大小与攻击成功率。
• 通过$ L_2 $范数测量攻击成功率，并使用均方误差（MSE）指标评估性能退化。
• 通过最小化惩罚偏离目标类别或期望回归输出的损失函数，生成对抗性样本。
• 使用ROC曲线和MSE比率的CDF图，对比合法输入与对抗性输入下的模型性能。

实验结果

研究问题

• RQ1 能否生成对抗性样本，使自动驾驶汽车的转向方向分类在极小、难以察觉的图像扰动下发生误判？
• RQ2 $ L_2 $范数扰动在多大程度上影响转向角分类模型逃避攻击的成功率？
• RQ3 对抗性攻击如何通过MSE指标降低基于回归的转向角预测模型的性能？
• RQ4 与合法输入相比，对抗性样本中观察到的MSE最大增加倍数是多少？
• RQ5 不同模型架构（如Epoch与NVIDIA）在对抗性攻击下的鲁棒性如何比较？

主要发现

• 对于Epoch模型，攻击在仅$ L_2 $扰动0.82的情况下实现了100%的转向方向误分类成功率。
• 对于NVIDIA模型，所需$ L_2 $扰动更高，达到121.01，表明其因架构复杂性而具有更强的鲁棒性。
• 攻击使10%的对抗性图像MSE相比合法输入增加了20倍以上。
• 对抗性与合法预测之间的MSE最大比率高达69，表明性能严重退化。
• 分类模型的AUC从无攻击时的1.0下降至$ L_2 $范数扰动0.75时的0.62，表明性能显著下降。
• 对抗性图像与原始图像在视觉上几乎无法区分，仅存在微小的像素级变化，证实了攻击的隐蔽性。