[论文解读] Paracosm: A Language and Tool for Testing Autonomous Driving Systems

Rupak Majumdar, Aman Mathur+3 more|arXiv (Cornell University)|Feb 4, 2019

Adversarial Robustness in Machine Learning参考文献 61被引用 30

一句话总结

Paracosm 是一个用于自动驾驶仿真系统的程序化测试框架，通过反应式编程和离散参数的组合覆盖以及连续参数的低差异采样，实现复杂、参数化的驾驶场景的系统性生成。该框架通过自动化、可复现的基于仿真的测试，实现了高测试覆盖率，并揭示了基于神经网络的驾驶系统中的边缘情况。

ABSTRACT

Systematic testing of autonomous vehicles operating in complex real-world scenarios is a difficult and expensive problem. We present Paracosm, a reactive language for writing test scenarios for autonomous driving systems. Paracosm allows users to programmatically describe complex driving situations with specific visual features, e.g., road layout in an urban environment, as well as reactive temporal behaviors of cars and pedestrians. Paracosm programs are executed on top of a game engine that provides realistic physics simulation and visual rendering. The infrastructure allows systematic exploration of the state space, both for visual features (lighting, shadows, fog) and for reactive interactions with the environment (pedestrians, other traffic). We define a notion of test coverage for Paracosm configurations based on combinatorial testing and low dispersion sequences. Paracosm comes with an automatic test case generator that uses random sampling for discrete parameters and deterministic quasi-Monte Carlo generation for continuous parameters. Through an empirical evaluation, we demonstrate the modeling and testing capabilities of Paracosm on a suite of autonomous driving systems implemented using deep neural networks developed in research and education. We show how Paracosm can expose incorrect behaviors or degraded performance.

研究动机与目标

• 为解决在复杂、真实场景中系统化测试自动驾驶系统所面临的挑战，这些场景在现实世界中难以且成本高昂地重现。
• 克服现有仿真工具依赖图形界面或固定环境设计的局限性，这些局限性阻碍了可扩展性和可复现性。
• 在仿真中实现对道路布局、环境条件和行为体（如行人、车辆）的精确、程序化控制。
• 提供一种覆盖驱动的测试生成策略，以最大化对离散和连续变量参数空间的探索。
• 支持发现端到端自动驾驶系统中的边界情况和故障模式，特别是涉及神经网络控制器的故障。

提出的方法

• Paracosm 使用同步反应式编程模型，其中组件（如车辆、道路、行人）随时间处理输入流并生成输出流。
• 每个组件均定义了视觉、物理和行为属性，以在游戏引擎或 OpenDRIVE 兼容格式中实现逼真的仿真。
• 测试场景被定义为参数化配置，其中参数控制环境特征（如光照、雾气）和行为体行为（如随意穿行、变道）。
• 该框架采用 k-组合组合覆盖方法处理离散参数，使用低差异序列处理连续参数，以确保参数空间的均匀覆盖。
• 自动测试生成器对离散参数使用随机采样，对连续参数使用确定性的准蒙特卡洛方法，以最大化覆盖度。
• 系统支持以 OpenDRIVE 格式输出，实现与 CARLA 和 AirSim 等工业标准仿真器的互操作性。

实验结果

研究问题

• RQ1 如何在广泛复杂的现实驾驶场景中系统化地测试自动驾驶系统？
• RQ2 当无法完全理解神经网络组件内部行为时，哪些测试覆盖标准适用于参数化仿真环境？
• RQ3 与基于图形界面或硬编码的仿真工具相比，程序化、反应式框架是否能提升场景生成的可复现性和可扩展性？
• RQ4 使用 k-组合和低差异采样进行覆盖驱动的测试生成，在揭示自动驾驶车辆控制器故障模式方面的有效性如何？
• RQ5 Paracosm 在通过改变非关键环境参数生成多样化、高质量训练数据方面的能力有多大？

主要发现

• Paracosm 通过程序化接口实现了对道路布局、环境条件和行为体行为的细粒度控制，能够创建复杂且参数化的驾驶场景。
• 该框架通过 k-组合组合测试处理离散参数，使用低差异采样处理连续参数，实现了对参数空间的高覆盖率，减少了测试生成中的盲区。
• 通过案例研究，Paracosm 有效发现了诸如在不同光照和位置条件下未能检测到行人的问题场景。
• 该系统展示了生成长时间运行测试场景的能力，能够测试自动驾驶控制器的闭环反馈行为，而不仅仅是静态图像分类错误。
• Paracosm 通过改变非关键参数（如车辆颜色、行人位置）生成带标签的训练数据，同时保持预期行为不变，从而实现数据增强。
• 该框架通过 OpenDRIVE 导出支持与工业标准仿真器的互操作性，显著提升了其实际应用潜力。