[论文解读] AdvSim: Generating Safety-Critical Scenarios for Self-Driving Vehicles

Jingkang Wang, Ava Pun+6 more|arXiv (Cornell University)|Jan 16, 2021

Adversarial Robustness in Machine Learning参考文献 49被引用 9

一句话总结

AdvSim 是一种对抗性框架，通过扰动参与者轨迹并相应更新传感器数据，为基于激光雷达的自动驾驶系统生成物理上合理且具有安全关键性的场景。它在多种系统中识别出数千种导致故障的场景，并在对抗性训练中使用时提升了系统鲁棒性，在基准场景中实现了32.0%的碰撞率。

ABSTRACT

As self-driving systems become better, simulating scenarios where the autonomy stack may fail becomes more important. Traditionally, those scenarios are generated for a few scenes with respect to the planning module that takes ground-truth actor states as input. This does not scale and cannot identify all possible autonomy failures, such as perception failures due to occlusion. In this paper, we propose AdvSim, an adversarial framework to generate safety-critical scenarios for any LiDAR-based autonomy system. Given an initial traffic scenario, AdvSim modifies the actors' trajectories in a physically plausible manner and updates the LiDAR sensor data to match the perturbed world. Importantly, by simulating directly from sensor data, we obtain adversarial scenarios that are safety-critical for the full autonomy stack. Our experiments show that our approach is general and can identify thousands of semantically meaningful safety-critical scenarios for a wide range of modern self-driving systems. Furthermore, we show that the robustness and safety of these systems can be further improved by training them with scenarios generated by AdvSim.

研究动机与目标

• 解决自动驾驶车辆全栈自主系统中缺乏可扩展、物理上合理且具有安全关键性的场景生成问题。
• 克服传统人工或仅基于规划模块的场景生成方法的局限性，这些方法会遗漏感知和多参与者故障模式。
• 通过模拟扰动轨迹带来的传感器级影响，实现对基于激光雷达的自主系统自动化、黑盒对抗性测试。
• 通过使用暴露故障模式的对抗性生成场景进行训练，提升系统鲁棒性。
• 生成包含多参与者和真实运动扰动的语义上有意义、复杂的交通场景。

提出的方法

• AdvSim 将场景生成建模为对物理上合理参与者轨迹扰动的黑盒对抗性攻击。
• 通过扰动参与者行为（例如轻微移动、突然变道）来修改初始交通场景，同时通过轨迹采样和碰撞避免确保物理合理性。
• 根据扰动后的世界状态实时更新激光雷达传感器数据，以模拟自动驾驶车辆（SDV）观察场景的方式。
• 对抗性目标函数结合了多种度量：碰撞可能性、与人类驾驶轨迹的L2距离，以及运动舒适度（急动、侧向加速度）。
• 使用多种黑盒优化算法（例如贝叶斯优化、NES、Bandit-TD）搜索能最大化故障可能性的扰动。
• 该方法支持多参与者扰动，并对全栈自主系统进行端到端评估，包括感知、预测和规划。

实验结果

研究问题

• RQ1 对参与者轨迹的对抗性扰动能否生成物理上合理、具有安全关键性的场景，从而在全栈自主系统中引发故障？
• RQ2 被扰动的参与者数量如何影响生成场景的复杂性和故障可能性？
• RQ3 在非光滑、低维成本函数下，哪种黑盒优化算法在生成对抗性场景方面最高效？
• RQ4 当用于训练时，对抗性生成的场景能否提升自动驾驶系统的鲁棒性和安全性？
• RQ5 不同对抗性目标函数在生成多样化且有效的故障诱导场景方面有何差异？

主要发现

• 当扰动五个参与者（m=5）时，AdvSim 在5秒内实现了32.0%的碰撞率，显著优于基线方法如最近距离最小化（13.5%）和最大间隔损失（18.3%）。
• 混合对抗性目标函数 𝒪₃（结合模仿学习、碰撞和安全成本）产生的故障率最高（32.0%），且规划性能最差（与人类轨迹L2距离：6.63 m，急动：2.18 m/s³）。
• 贝叶斯优化（BO）是最高效的搜索算法，在仅75次查询下达到最高碰撞率（28.5%），优于遗传算法（GA，1600次查询）和NES（400次查询）。
• 随着被扰动参与者数量增加（m=3 到 m=5），场景复杂度上升，但碰撞率下降，原因是找到物理上合理轨迹的难度增加。
• 使用AdvSim生成的场景进行对抗性训练可提升系统鲁棒性，表明该框架可用于主动增强安全性。
• 定性结果显示，AdvSim 能生成语义上有意义的故障案例，包括多参与者交互场景，如无保护左转和并道冲突。