[论文解读] A Scenario-Based Platform for Testing Autonomous Vehicle Behavior Prediction Models in Simulation

Francis Indaheng, Edward Kim+5 more|arXiv (Cornell University)|Oct 28, 2021

Autonomous Vehicle Technology and Safety参考文献 19被引用 8

一句话总结

本文提出了一种基于场景的仿真平台，用于使用Scenic概率编程语言和VerifAI对自动驾驶车辆行为预测模型进行测试，实现多目标度量的 falsification（ falsification）。该平台支持在25个合成的、交互式的交通场景中对模型（如LaneGCN）进行可扩展的并行测试，通过自动化的场景生成和评估，结合优先级度量，识别出故障案例，展示了在发现边缘情况方面的高效率和有效性。

ABSTRACT

Behavior prediction remains one of the most challenging tasks in the autonomous vehicle (AV) software stack. Forecasting the future trajectories of nearby agents plays a critical role in ensuring road safety, as it equips AVs with the necessary information to plan safe routes of travel. However, these prediction models are data-driven and trained on data collected in real life that may not represent the full range of scenarios an AV can encounter. Hence, it is important that these prediction models are extensively tested in various test scenarios involving interactive behaviors prior to deployment. To support this need, we present a simulation-based testing platform which supports (1) intuitive scenario modeling with a probabilistic programming language called Scenic, (2) specifying a multi-objective evaluation metric with a partial priority ordering, (3) falsification of the provided metric, and (4) parallelization of simulations for scalable testing. As a part of the platform, we provide a library of 25 Scenic programs that model challenging test scenarios involving interactive traffic participant behaviors. We demonstrate the effectiveness and the scalability of our platform by testing a trained behavior prediction model and searching for failure scenarios.

研究动机与目标

• 为解决在真实世界训练数据中未充分表示的罕见或复杂交通场景下测试行为预测模型的挑战。
• 开发一种可扩展的、基于仿真的平台，支持对交互式交通场景进行直观建模。
• 通过度量的部分优先级排序，实现多目标评估，以实现对模型更细致的评估。
• 通过使用智能采样和并行执行的 falsification，自动化发现故障案例。

提出的方法

• 使用Scenic（一种概率编程语言）对场景建模，以定义代理初始状态和动态行为的概率分布。
• 通过OpenDRIVE地图格式和轨迹输入/输出转换，将训练好的行为预测模型（如LaneGCN）与CARLA仿真器集成。
• 定义具有部分优先级排序的多目标评估度量，通过minADE、minFDE和MR距离阈值评估预测准确性。
• 使用VerifAI的多臂赌博机采样器，智能探索场景空间，以最大化反例的发现。
• 通过在多个工作进程中并行化仿真，提升测试效率，并通过运行时基准验证加速效果。
• 记录并分析在每种场景类型下120个具体场景中的系统性能，这些场景在不同时间点采样，以评估模型在交互阶段的行为。

实验结果

研究问题

• RQ1 如何有效建模和合成交互式、边缘情况的交通场景，以在仿真中测试行为预测模型？
• RQ2 具有部分优先级排序的多目标评估度量在多大程度上能提升对行为预测模型关键故障模式的检测能力？
• RQ3 使用智能采样的并行化、基于场景的 falsification 是否能显著提高自动驾驶预测系统测试的可扩展性和效率？
• RQ4 该平台在测试真实世界训练模型（如LaneGCN）时，在多样化、复杂的交叉路口场景中发现故障案例的效率如何？
• RQ5 该平台能否识别出随场景中代理交互的时间和阶段而变化的故障模式？

主要发现

• 该平台成功在五个复杂交叉路口场景中识别出LaneGCN模型的故障案例，包括无保护左转和汇入操作。
• 通过最多五个工作进程的并行执行，实现了显著的加速，将120次仿真在串行执行下的运行时间大幅缩短。
• 多臂赌博机采样器有效探索了场景空间，平衡了反例发现与特征空间多样性。
• 故障案例在不同时间点（20、40、60、80）被检测到，表明模型性能随交互阶段的变化而变化。
• 该平台在测试一个基于30万次真实世界场景训练的现实模型时，展现出良好的可扩展性和有效性，成功发现了训练数据中未充分捕捉的边缘情况。
• Scenic与CARLA及VerifAI的集成实现了无缝、模块化的测试，对模型依赖性影响极小。