[论文解读] An Analysis of Adversarial Attacks and Defenses on Autonomous Driving Models

Yao Deng, Xi Zheng+4 more|arXiv (Cornell University)|Feb 6, 2020

Adversarial Robustness in Machine Learning参考文献 41被引用 13

一句话总结

本文分析了基于CNN的自动驾驶回归模型对五种对抗性攻击和四种防御技术的脆弱性。研究发现，这些模型在白盒攻击下极为脆弱（成功率98%），而黑盒攻击则效果差得多（成功率4%），且没有单一防御方法能完全抵御所有攻击，因此在实际应用中需要采用多层防御策略。

ABSTRACT

Nowadays, autonomous driving has attracted much attention from both industry and academia. Convolutional neural network (CNN) is a key component in autonomous driving, which is also increasingly adopted in pervasive computing such as smartphones, wearable devices, and IoT networks. Prior work shows CNN-based classification models are vulnerable to adversarial attacks. However, it is uncertain to what extent regression models such as driving models are vulnerable to adversarial attacks, the effectiveness of existing defense techniques, and the defense implications for system and middleware builders. This paper presents an in-depth analysis of five adversarial attacks and four defense methods on three driving models. Experiments show that, similar to classification models, these models are still highly vulnerable to adversarial attacks. This poses a big security threat to autonomous driving and thus should be taken into account in practice. While these defense methods can effectively defend against different attacks, none of them are able to provide adequate protection against all five attacks. We derive several implications for system and middleware builders: (1) when adding a defense component against adversarial attacks, it is important to deploy multiple defense methods in tandem to achieve a good coverage of various attacks, (2) a blackbox attack is much less effective compared with a white-box attack, implying that it is important to keep model details (e.g., model architecture, hyperparameters) confidential via model obfuscation, and (3) driving models with a complex architecture are preferred if computing resources permit as they are more resilient to adversarial attacks than simple models.

研究动机与目标

• 评估五种对抗性攻击方法在自动驾驶中使用的基于CNN的回归模型上的有效性。
• 评估四种防御技术对这些攻击的防护效果，确定其覆盖范围与局限性。
• 为系统和中间件设计者提供关于模型安全性和防御部署的实际启示。
• 研究对抗性样本在不同驾驶模型间的可迁移性，以及模型保密性的影响。

提出的方法

• 复现了五种对抗性攻击方法——IT-FGSM、Opt、Opt_uni、AdvGAN和AdvGAN_uni——并将其适配于基于回归的驾驶模型。
• 实现了四种防御技术：对抗性训练、防御蒸馏、硬件异常检测（GPU使用率/利用率）以及特征压缩。
• 在Udacity数据集上，针对三种基于CNN的驾驶模型，在白盒和黑盒攻击设置下进行了系统性实验。
• 测量了不同攻击类型和模型架构下的攻击成功率，以及防御措施的召回率与精确率。
• 评估了模型混淆与隐私保护作为缓解对抗性样本可迁移性的策略。
• 发布代码、模型与数据集，以支持可复现性及未来研究。

实验结果

研究问题

• RQ1 基于CNN的驾驶回归模型在白盒与黑盒设置下，对对抗性攻击的脆弱性程度如何？
• RQ2 现有防御技术在保护自动驾驶模型免受多样化对抗性攻击方面的有效性如何？
• RQ3 对抗性样本在不同驾驶模型间的可迁移性如何？模型保密性如何影响攻击成功率？
• RQ4 模型架构复杂度与系统级设计选择如何影响模型对对抗性攻击的鲁棒性？

主要发现

• 所有测试的驾驶模型在白盒设置下均对对抗性攻击高度脆弱，五种攻击中四种的平均攻击成功率高达98%（IT-FGSM除外，其成功率为36%）。
• 黑盒攻击的平均成功率仅为4%，表明模型保密性显著降低了攻击的有效性。
• 没有单一防御方法能完全抵御所有五类攻击；特征压缩提供了最广的检测覆盖范围（召回率78%），但误报率较高（最高达40%）。
• 对抗性训练与防御蒸馏仅对IT-FGSM和基于优化的攻击有效，而硬件异常检测可检测这两类攻击，并部分检测AdvGAN攻击。
• 架构更复杂的驾驶模型比简单模型更具抗对抗性攻击能力，表明架构复杂度有助于提升鲁棒性。
• 对抗性样本从一个驾驶模型向另一个模型的可迁移性较低，与分类模型中的发现相反，表明回归模型的行为存在根本性差异。