[论文解读] A Method for Classifying Test Bench Configurations in a Scenario-Based Test Approach for Automated Vehicles

Markus Steimle, Till Menzel+1 more|arXiv (Cornell University)|May 22, 2019

Autonomous Vehicle Technology and Safety参考文献 4被引用 4

一句话总结

本文提出了一种基于雷达图的系统化分类方法，用于场景化自动驾驶车辆测试中的测试台配置。通过在模拟、仿真和真实三个阶段定义功能维度（如车辆动力学、环境感知和人机交互），该方法能够对测试台配置进行明确分类，为根据验证需求自动、高效且有效地将测试用例分配至最优配置奠定了基础。

ABSTRACT

The introduction of automated vehicles demands a way to prove their safe operation. However, validating the safety of automated vehicles is still an unsolved problem. While the scenario-based test approach seems to provide a possible solution, it requires the execution of a high amount of test cases. Several test benches, from actual test vehicles to partly or fully simulated environments, are available, but choosing the optimal test bench, e.g. in terms of required execution time and costs, is a difficult task. Every test bench provides different elements, e.g. simulation models which can be used for test case execution. The composition of elements at a specific test bench is called test bench configuration. This test bench configuration determines the actual performance of a test bench and, therefore, whether the run of a particular test case provides valid test case results with respect to the intended purpose, e.g. a safety validation. For an effective and efficient test case execution, a method is required to assign test cases to the most appropriate test bench configuration. Therefore, it is indispensable to have a method to classify test bench configurations in a clear and reproducible manner. In this paper, we propose a method for classifying test benches and test bench configurations and illustrate the classification method with some examples. The classification method serves as a basis for a systematic assignment of test cases to test bench configurations which allows for an effective and efficient test case execution.

研究动机与目标

• 解决在场景化测试中，面对大量测试用例时选择最优测试台配置的挑战。
• 克服人工、基于专家经验的仿真模型和测试台配置选择方法在大规模应用下的不可行性。
• 提供一种正式且可复现的方法，基于其功能能力和元件构成对测试台配置进行分类。
• 通过系统化和自动化的方式将测试用例分配至最合适的测试台配置，确保安全验证结果的有效性。
• 通过将测试台能力与测试用例需求相匹配，为高效且成本可控的测试建立基础。

提出的方法

• 基于自动驾驶车辆功能系统架构的接口定义功能维度，包括与用户和环境的交互。
• 将分类结构化为三个阶段：模拟（1）、仿真（2）和真实（3），分别代表保真度和物理集成的逐步提升。
• 使用雷达图可视化测试台配置，其中轴代表维度（如车辆动力学、环境传感器），数据点表示各阶段可用的元件。
• 将每个测试台配置建模为在所有维度上可用的仿真、仿真或真实世界元件的独特组合。
• 通过明确定义各维度中元件的存在形式和类型（如单轨与双轨车辆动力学模型），确保分类的无歧义性。
• 将该分类方法应用于实际案例，如软件在环测试台和物理测试车辆，以证明其可行性和清晰性。

实验结果

研究问题

• RQ1 如何系统化地对测试台配置进行分类，以支持自动驾驶车辆验证中测试用例的自动化分配？
• RQ2 在场景化自动驾驶车辆测试中，哪些功能维度是表征测试台能力所必需的？
• RQ3 如何正式记录并比较不同测试台配置中仿真元件（如车辆动力学、传感器模型）的保真度和构成？
• RQ4 与人工专家选择相比，所提出的分类方法在多大程度上能实现更高效和更有效的测试用例执行？
• RQ5 该分类方法能否确保仅根据配置选择生成有效的测试用例结果（适用于安全验证）？

主要发现

• 所提出的分类方法通过定义功能维度的雷达图，实现了对测试台配置的无歧义且可复现的表征。
• 每个测试台配置均由车辆动力学和环境感知等维度上可用元件（如仿真模型）的唯一组合所定义。
• 该方法支持识别软件在环测试台中的两种不同配置——一种使用单轨模型，另一种使用双轨模型——展示了配置差异化的实现。
• 该分类方法可实现将测试用例系统化地分配至匹配所需验证保真度的配置，从而提高测试效率。
• 该方法为未来测试用例分配的自动化提供了正式基础，减少了对主观专家判断的依赖。
• 通过具体案例（包括软件在环测试台和物理测试车辆）验证了该方法的实用性，展示了其实际适用性。