[论文解读] A Real-time Critical-scenario-generation Framework for Testing Autonomous Driving System

Yizhou Xie, Kunpeng Dai+1 more|arXiv (Cornell University)|Jun 2, 2022

Reinforcement Learning in Robotics被引用 4

一句话总结

本文提出了一种用于测试自动驾驶系统的实时临界场景生成（RTCSG）框架，采用具有自适应代价函数的激进驾驶算法，高效生成引发故障的场景。该方法在保持优异稳定性和成功率的同时，相比基于强化学习的方法效率提升16倍，适用于黑箱控制器的临界场景生成。

ABSTRACT

In order to find the most likely failure scenarios which may occur under certain given operation domain, critical-scenario-based test is supposed as an effective and widely used method, which gives suggestions for designers to improve the developing algorithm. However, for the state of art, critical-scenario generation approaches commonly utilize random-search or reinforcement learning methods to generate series of scenarios for a specific algorithm, which takes amounts of computing resource for testing a developing target that is always changing, and inapplicable for testing a real-time system. In this paper, we proposed a real-time critical-scenario-generation (RTCSG) framework to address the above challenges. In our framework, an aggressive-driving algorithm is proposed in controlling the virtual agent vehicles, a specially designed cost function is presented to guide scenarios to evolve towards critical conditions, and a self-adaptive coefficient iteration is designed that enable the approach to operate successfully in different conditions. With our proposed method, the critical-scenarios can be directly generated for the target under test which is a black-box system, and the real-time critical-scenario test can be brought into reality. The simulation results show that our approach is able to obtain more critical scenarios in most conditions than current methods, with a higher stability of success. For a real-time testing, our approach improves the efficiency around 16 times.

研究动机与目标

• 为解决现有场景生成方法在实时、黑箱自动驾驶系统中效率低下且不适用的问题。
• 开发一种无需依赖昂贵学习或可回溯仿真的框架，实现实时在线生成临界场景。
• 在不同初始条件下，提升生成引发故障场景的稳定性和成功率。
• 通过生成针对目标系统的对抗性场景，实现对自动驾驶控制器的直接、实时测试。

提出的方法

• 该框架采用激进驾驶算法，模拟虚拟智能体的对抗行为，引导其与本车发生临界交互。
• 设计自定义代价函数，基于距离、相对速度和轨迹偏移量化危险程度，促进接近碰撞状态的生成，同时避免极端操作。
• 自适应系数迭代动态调整代价函数参数，以在不同初始条件下保持性能并提升收敛性。
• 该方法在线运行，无需仿真回溯或长时间训练阶段，实现实时场景生成。
• 该方法可直接应用于黑箱控制器，无需访问内部逻辑或控制策略即可实现场景生成。
• 通过多种初始状态的仿真评估框架，性能通过场景得分和步长效率进行衡量。

Figure 1 : Diagram of a vehicle-vehicle cut-in scenario.

实验结果

研究问题

• RQ1 能否开发一种实时场景生成框架，高效针对黑箱自动驾驶控制器，而无需依赖强化学习或仿真回溯？
• RQ2 所提出的具有自适应系数的代价函数在不同初始条件下如何提升场景生成的稳定性和成功率？
• RQ3 RTCSG框架在生成效率和场景质量方面相较于基于强化学习和RRT的方法提升程度如何？
• RQ4 在其他方法失效的不利初始条件下，该框架能否持续生成临界场景（尤其是接近碰撞）？
• RQ5 该框架在本车与智能体车辆之间相对位置和速度广泛变化的条件下，性能如何扩展？

主要发现

• RTCSG框架的中位数场景得分为0.9433，显著高于基于强化学习的方法（0.8728）和RRT方法（0.8661），表明其场景质量和稳定性更优。
• 在85%的测试初始条件下，RTCSG在场景得分上均优于基于强化学习和RRT的方法，显示出更高的可靠性。
• 与基于强化学习的方法相比，RTCSG在步长消耗比率上的中位数效率提升16.0025倍，显著提高生成效率。
• RTCSG在性能上表现出极少轻微异常值，无极端异常值，表明在各种场景下均具有一致且稳健的表现。
• 即使在不利初始条件（如初始距离大或速度差异大）下，该方法仍保持高性能，而基于强化学习和RRT的方法常出现失败或需过多步数。
• 自适应系数迭代显著增强了框架在不同初始状态下的收敛能力，降低了对初始化的敏感性。

Figure 2 : Structure of RTCSG framework.