[论文解读] A Survey on Automated Driving System Testing: Landscapes and Trends

Shuncheng Tang, Zhenya Zhang+9 more|arXiv (Cornell University)|Jun 13, 2022

Vehicular Ad Hoc Networks (VANETs)被引用 5

一句话总结

本综述对自动驾驶系统（ADS）测试进行了全面分析，涵盖模块级与系统级测试方法。它识别了各模块之间的技术差异，指出了仿真测试与真实世界测试之间的差距，并概述了提升ADS安全性与可靠性的关键挑战及未来研究方向。

ABSTRACT

Automated Driving Systems (ADS) have made great achievements in recent years thanks to the efforts from both academia and industry. A typical ADS is composed of multiple modules, including sensing, perception, planning, and control, which brings together the latest advances in different domains. Despite these achievements, safety assurance of ADS is of great significance, since unsafe behavior of ADS can bring catastrophic consequences. Testing has been recognized as an important system validation approach that aims to expose unsafe system behavior; however, in the context of ADS, it is extremely challenging to devise effective testing techniques, due to the high complexity and multidisciplinarity of the systems. There has been great much literature that focuses on the testing of ADS, and a number of surveys have also emerged to summarize the technical advances. Most of the surveys focus on the system-level testing performed within software simulators, and they thereby ignore the distinct features of different modules. In this paper, we provide a comprehensive survey on the existing ADS testing literature, which takes into account both module-level and system-level testing. Specifically, we make the following contributions: (1) we survey the module-level testing techniques for ADS and highlight the technical differences affected by the features of different modules; (2) we also survey the system-level testing techniques, with focuses on the empirical studies that summarize the issues occurring in system development or deployment, the problems due to the collaborations between different modules, and the gap between ADS testing in simulators and the real world; (3) we identify the challenges and opportunities in ADS testing, which pave the path to the future research in this field.

研究动机与目标

• 提供ADS测试文献的全面概览，整合模块级与系统级测试方法。
• 分析由于功能与需求不同，各ADS模块（感知、感知、规划、控制）在测试中的技术差异。
• 识别并讨论基于仿真的测试与真实世界部署之间持续存在的差距，包括当前仿真器的局限性。
• 强调在复杂、交互式环境中故障诊断、测试预言（test oracle）和测试充分性方面的挑战，尤其在这些场景中。
• 概述未来在ADS测试中的研究机遇，特别是在提升真实性、效率和安全保证方面。

提出的方法

• 对来自软件工程、人工智能、交通和安全等多个领域的220余篇论文进行系统性文献综述。
• 按模块类型对测试技术进行分类，重点关注测试方法、测试预言设计和测试充分性标准。
• 通过实证研究分析系统级测试，包括故障分析和跨模块交互问题。
• 使用高保真仿真器（如CARLA、LGSVL）评估基于仿真的测试，强调真实感与覆盖范围。
• 研究混合现实测试范式，如HiL、ViL和SciL，以弥合仿真与真实世界测试之间的差距。
• 通过测试文献和真实世界部署报告中反复出现问题的主题分析，识别关键挑战。

实验结果

研究问题

• RQ1 在主要ADS模块（感知、感知、规划、控制）之间，测试方法、测试预言和充分性标准的关键差异是什么？
• RQ2 系统级测试中的主要挑战和局限性是什么，特别是关于模块间交互和故障传播方面？
• RQ3 与真实世界测试相比，当前基于仿真的测试环境在真实感、覆盖范围和可靠性方面表现如何？
• RQ4 ADS故障的故障诊断和根本原因分析方面存在哪些开放性研究问题？
• RQ5 如何有效利用基于仿真的测试来降低真实世界测试的成本与风险？

主要发现

• 模块级测试因功能而异：感知测试侧重于对传感器噪声和对抗性输入的鲁棒性，而规划与控制测试则强调轨迹安全性和控制稳定性。
• 系统级故障通常源于模块间复杂交互而非单一模块故障，凸显了跨模块测试策略的必要性。
• 尽管技术不断进步，仿真器仍无法完全再现真实世界动态，特别是在复杂交通场景中，导致仿真与现实之间存在持续差距。
• 硬件在回路（HiL）和车辆在回路（ViL）测试已得到广泛应用，但场景在回路（SciL）仍主要停留在理论阶段且使用较少。
• 各模块之间缺乏标准化的测试预言和测试充分性度量，增加了比较评估与验证的难度。
• 估算仿真到现实差距的努力正在出现，但尚无统一框架能有效量化或缓解这一差异。