[论文解读] Adversarial Objects Against LiDAR-Based Autonomous Driving Systems

Yulong Cao, Chaowei Xiao+5 more|arXiv (Cornell University)|Jul 11, 2019

Adversarial Robustness in Machine Learning参考文献 23被引用 63

一句话总结

论文提出 LiDAR-Adv，一种端到端可微分的方法，用于生成物理上可信的对抗对象，能够逃避基于 LiDAR 的自主驾驶检测器，并展示白盒和黑盒攻击，包括在百度 Apollo 平台上的真实世界 3D 打印测试。

ABSTRACT

Deep neural networks (DNNs) are found to be vulnerable against adversarial examples, which are carefully crafted inputs with a small magnitude of perturbation aiming to induce arbitrarily incorrect predictions. Recent studies show that adversarial examples can pose a threat to real-world security-critical applications: a "physical adversarial Stop Sign" can be synthesized such that the autonomous driving cars will misrecognize it as others (e.g., a speed limit sign). However, these image-space adversarial examples cannot easily alter 3D scans of widely equipped LiDAR or radar on autonomous vehicles. In this paper, we reveal the potential vulnerabilities of LiDAR-based autonomous driving detection systems, by proposing an optimization based approach LiDAR-Adv to generate adversarial objects that can evade the LiDAR-based detection system under various conditions. We first show the vulnerabilities using a blackbox evolution-based algorithm, and then explore how much a strong adversary can do, using our gradient-based approach LiDAR-Adv. We test the generated adversarial objects on the Baidu Apollo autonomous driving platform and show that such physical systems are indeed vulnerable to the proposed attacks. We also 3D-print our adversarial objects and perform physical experiments to illustrate that such vulnerability exists in the real world. Please find more visualizations and results on the anonymous website: https://sites.google.com/view/lidar-adv.

研究动机与目标

• 研究基于 LiDAR 的自主驾驶检测系统对对抗对象的脆弱性。
• 开发一个端到端框架（LiDAR-Adv），用以生成物理上可信的对抗性三维对象。
• 在保持真实感和鲁棒性的前提下，支持多目标攻击（隐藏对象和改变标签）。
• 在仿真环境和具备生产级别的自主驾驶平台上，使用真实世界的 3D 打印对象评估攻击。

提出的方法

• 在基于 LiDAR 的检测管线（预处理、模型 M、后处理）上制定对抗性目标。
• 开发一个可微的 LiDAR 渲染器 R，用以模拟从三维对象 S 生成的 LiDAR 点云，便于基于梯度的优化。
• 为非可微的二维特征聚合 Phi 创建可微代理，以实现端到端优化。
• 通过复合损失 L = L_adv + lambda L_r，优化对象 S 的三维顶点扰动，其中 L_r 强制真实性（Laplacian 与 L2 距离），L_adv 驱动攻击。
• 构建两种攻击模式：通过降低检测置信度隐藏对象，或将检测到的标签改为目标类别。
• 当无法访问模型内部时，提供基于进化搜索的黑盒攻击。
• 通过跨越多种姿态和方向生成通用对抗对象以测试鲁棒性，然后进行实际 3D 打印并在移动中的车辆上测试。

实验结果

研究问题

• RQ1 在真实环境中，物理上可信的三维对象扰动是否能够让基于 LiDAR 的检测器失效？
• RQ2 当 LiDAR 的预处理和后处理步骤不可微时，如何应用基于梯度的优化？
• RQ3 对抗对象在不同对象位置、方向和平台条件下是否仍然有效（鲁棒性）？
• RQ4 对抗对象是否能在行业级 autonomou 驾驶系统（百度 Apollo）中造成隐藏或标签改变的失败？

主要发现

• LiDAR-Adv 相较于黑箱进化式方法在攻击成功率上更高（例如，对 50 cm 物体：71% 对 62%；对 75 cm 物体：51% 对 36%）。
• 生成的对抗对象比进化式方法更光滑。
• 对抗对象可以将检测器输出改为目标类别（例如，被误检测为行人）。
• 鲁棒对抗对象在未见过的位置/方向下仍保持较高有效性（在某些未见条件下成功率 96/100）。
• 真实行驶测试中，3D 打印的对抗对象在许多帧中未被 LiDAR 检测到，展示了现实世界威胁。