[论文解读] A Survey on Scenario-Based Testing for Automated Driving Systems in High-Fidelity Simulation

Ziyuan Zhong, Yun Tang+4 more|arXiv (Cornell University)|Dec 2, 2021

Software Testing and Debugging Techniques参考文献 116被引用 40

一句话总结

本综述为高级驾驶辅助系统（ADS）在高保真仿真器中的基于场景的测试提出了一个通用框架，回顾了最近工作，并讨论了未解挑战与未来方向。它通过仿真器、系统、目标、场景空间和搜索算法来比较方法。

ABSTRACT

Automated Driving Systems (ADSs) have seen rapid progress in recent years. To ensure the safety and reliability of these systems, extensive testings are being conducted before their future mass deployment. Testing the system on the road is the closest to real-world and desirable approach, but it is incredibly costly. Also, it is infeasible to cover rare corner cases using such real-world testing. Thus, a popular alternative is to evaluate an ADS's performance in some well-designed challenging scenarios, a.k.a. scenario-based testing. High-fidelity simulators have been widely used in this setting to maximize flexibility and convenience in testing what-if scenarios. Although many works have been proposed offering diverse frameworks/methods for testing specific systems, the comparisons and connections among these works are still missing. To bridge this gap, in this work, we provide a generic formulation of scenario-based testing in high-fidelity simulation and conduct a literature review on the existing works. We further compare them and present the open challenges as well as potential future research directions.

研究动机与目标

• 提出在高保真仿真中进行基于场景的测试的通用表述。
• 回顾并比较近年的工作（主要自2018年起）在仿真器、目标系统、测试目标、场景参数和搜索算法方面。
• 识别共性挑战与差距，以指导未来在 ADS 基于场景的测试的研究。
• 讨论尚待解决的问题及改进测试框架的保真度、可移植性和效率的方向。

提出的方法

• 提出用于 ADS 的基于场景测试的通用工作流程：场景生成、执行和评估。
• 定义分层场景表示（功能层、逻辑层、具体层）及场景层模型以组织参数。
• 在四个维度上比较工作：仿真器、被测试系统、测试目标和搜索算法。
• 总结用于筛选和分析文献的选择与评估标准。
• 讨论仿真结果与现实世界性能之间的差距分析并提出潜在缓解措施。

实验结果

研究问题

• RQ1 在高保真 ADS 仿真器中，构成一个通用、可重用的基于场景的测试框架是什么？
• RQ2 现有工作在仿真器、被测试系统、测试目标、场景参数空间和搜索策略等方面有何差异？
• RQ3 将基于仿真的测试与现实世界的安全保证对齐的主要挑战是什么，哪些方向可能解决它们？

主要发现

• 在各项研究中普遍存在一个统一的三部分工作流程（场景生成、执行、评估）。
• 一个分层的（功能、逻辑、具体）五层场景模型有助于为比较组织场景参数。
• 大多数工作使用 software-in-loop 高保真仿真器在各种地图、传感器和 NPC 行为下测试系统级 ADS 安全性。
• 在将测试结果从仿真转移到现实世界部署方面存在显著差距，凸显保真度和可移植性挑战。
• 开放挑战包括仿真器真实度、开源系统可用性，以及跨平台对测试方法的泛化。