[论文解读] Case Study: Verifying the Safety of an Autonomous Racing Car with a Neural Network Controller

Radoslav Ivanov, Taylor J. Carpenter+4 more|arXiv (Cornell University)|Oct 24, 2019

Adversarial Robustness in Machine Learning参考文献 25被引用 11

一句话总结

本文通过一个真实世界案例研究，利用激光雷达（LiDAR）输入对神经网络（NN）控制器的自动驾驶卡丁车安全性进行了验证。尽管当前最先进的验证工具仅能处理约40根LiDAR射线，该研究显示在理想条件下，验证结果与安全的现实世界行为具有强烈相关性，但在可扩展性和对LiDAR故障的鲁棒性方面仍存在挑战。

ABSTRACT

This paper describes a verification case study on an autonomous racing car with a neural network (NN) controller. Although several verification approaches have been proposed over the last year, they have only been evaluated on low-dimensional systems or systems with constrained environments. To explore the limits of existing approaches, we present a challenging benchmark in which the NN takes raw LiDAR measurements as input and outputs steering for the car. We train a dozen NNs using two reinforcement learning algorithms and show that the state of the art in verification can handle systems with around 40 LiDAR rays, well short of a typical LiDAR scan with 1081 rays. Furthermore, we perform real experiments to investigate the benefits and limitations of verification with respect to the sim2real gap, i.e., the difference between a system's modeled and real performance. We identify cases, similar to the modeled environment, in which verification is strongly correlated with safe behavior. Finally, we illustrate LiDAR fault patterns that can be used to develop robust and safe reinforcement learning algorithms.

研究动机与目标

• 评估现有形式化验证工具在真实、高维系统中对神经网络控制器的可扩展性。
• 研究基于仿真的验证与现实世界安全性能之间的相关性，特别是仿真到现实的差距问题。
• 识别导致安全风险的LiDAR故障模式，并探讨其对强化学习与验证的影响。
• 评估当前深度强化学习（DRL）算法在生成对自动驾驶系统安全且鲁棒的控制器方面的局限性。

提出的方法

• 构建了自行车动力学模型和结构化的LiDAR观测模型，将车辆状态映射到走廊环境中的射线测量值。
• 使用DDPG和TD3强化学习算法，以原始LiDAR输入和转向输出训练了12个端到端的神经网络控制器。
• 应用Verisig验证工具检查在不确定初始条件下，神经网络控制的汽车是否始终处于安全边界内（即不撞到墙壁）。
• 模拟LiDAR故障（例如，反射导致的虚假负向测量），并将真实世界实验与故障注入仿真中的碰撞结果进行对比。
• 采用可达性分析追踪车辆状态随时间的演化，结合混合系统建模与神经网络验证技术。
• 在不同LiDAR射线数量（最多约40根）和神经网络规模（最多约250个神经元）下评估验证性能，分析可扩展性与敏感性。

实验结果

研究问题

• RQ1 当前的形式化验证工具能否处理使用高维LiDAR输入的自动驾驶卡丁车与神经网络控制器的复杂性？
• RQ2 仿真中的验证在多大程度上能预测真实世界部署中的安全行为，尤其是在存在仿真到现实差距的情况下？
• RQ3 LiDAR故障模式（例如，反射）在多大程度上会导致不安全行为？这些故障是否能在仿真中可靠建模？
• RQ4 现有的深度强化学习算法能否生成既安全又对LiDAR故障具有鲁棒性的控制器，且此类控制器能否被形式化验证？

主要发现

• 最先进的验证工具Verisig仅能处理约40根LiDAR射线，远低于典型LiDAR扫描的1081根射线。
• 当反射表面被最小化时，验证结果与安全的现实世界行为表现出强烈相关性，表明准确的仿真模型可实现可靠的验证。
• 在存在反射表面的真实环境中，LiDAR故障导致了碰撞，且通过随机移除LiDAR射线可在仿真中重现这些故障，导致相似的碰撞模式。
• 尽管能够模拟LiDAR故障，但使用当前的DDPG和TD3算法仍无法训练出对这些故障具有鲁棒性的DRL控制器。
• 具有相似规模但采用不同训练算法的神经网络对输入扰动表现出不同的敏感性，部分网络在初始条件发生微小变化时会产生截然不同的轨迹。
• 可扩展性仍是主要瓶颈，因为随着LiDAR射线数量的增加，由于可能的墙体交互组合呈指数级增长，复杂度急剧上升。