[论文解读] Automated Test Cases Prioritization for Self-driving Cars in Virtual Environments.

Christian Birchler, Sajad Khatiri+3 more|arXiv (Cornell University)|Jul 20, 2021

Software Testing and Debugging Techniques参考文献 58被引用 5

一句话总结

SDC-Prioritizer 是一种针对自动驾驶汽车的元启发式测试用例优先级排序框架，它基于静态道路特征对虚拟测试用例进行排序，而无需依赖先前的执行数据，使用多样性度量指标。在相同的时间预算内，其检测到的安全关键故障数量是随机或贪心基线方法的两倍，且测试执行成本仅增加 0.34%。

ABSTRACT

Testing with simulation environments helps to identify critical failing scenarios emerging autonomous systems such as self-driving cars (SDCs) and are safer than in-field operational tests. However, these tests are very expensive and are too many to be run frequently within limited time constraints. In this paper, we investigate test case prioritization techniques to increase the ability to detect SDC regression faults with virtual tests earlier. Our approach, called SDC-Prioritizer, prioritizes virtual tests for SDCs according to static features of the roads used within the driving scenarios. These features are collected without running the tests and do not require past execution results. SDC-Prioritizer utilizes meta-heuristics to prioritize the test cases using diversity metrics (black-box heuristics) computed on these static features. Our empirical study conducted in the SDC domain shows that SDC-Prioritizer doubles the number of safety-critical failures that virtual tests can detect at the same level of execution time compared to baselines: random and greedy-based test case orderings. Furthermore, this meta-heuristic search performs statistically better than both baselines in terms of detecting safety-critical failures. SDC-Prioritizer effectively prioritize test cases for SDCs with a large improvement in fault detection while its overhead (up to 0.34% of the test execution cost) is negligible.

研究动机与目标

• 解决使用虚拟环境测试自动驾驶汽车（SDCs）时面临的高成本和大规模挑战。
• 在仿真测试中提升对安全关键回归故障的早期检测能力。
• 开发一种仅依赖静态道路特征的测试用例优先级排序技术，避免对历史执行结果的依赖。
• 在时间受限环境中最小化测试开销，同时最大化故障检测效率。
• 评估基于多样性度量的元启发式搜索策略在静态道路特征上用于测试优先级排序的有效性。

提出的方法

• SDC-Prioritizer 从驾驶场景中提取静态道路特征（例如道路类型、曲率、车道数量），而无需执行测试。
• 基于这些静态特征计算多样性度量——黑盒启发式方法——以估计测试用例的覆盖范围和差异性。
• 采用元启发式搜索算法（例如遗传算法或模拟退火）根据测试用例检测安全关键故障的潜力对它们进行排序。
• 优先级策略专注于在测试套件执行的早期阶段最大化故障检测率。
• 该方法设计轻量化，计算开销最高仅为总测试执行成本的 0.34%。
• 该方法在真实世界的自动驾驶汽车仿真环境中，使用一组具有代表性的测试用例进行了评估。

实验结果

研究问题

• RQ1 基于静态道路特征的测试用例优先级排序能否提升自动驾驶汽车仿真中安全关键故障的早期检测？
• RQ2 与随机和贪心测试排序策略相比，SDC-Prioritizer 在故障检测有效性方面表现如何？
• RQ3 SDC-Prioritizer 在测试执行成本方面的性能开销是多少？
• RQ4 在静态特征上使用元启发式搜索结合多样性度量，是否能带来故障检测的统计学上显著的改进？
• RQ5 仅依靠静态特征，而不依赖执行历史，能否有效指导自动驾驶汽车测试中的测试优先级排序？

主要发现

• 在相同的时间预算内，SDC-Prioritizer 检测到的安全关键故障数量是随机测试排序方法的两倍。
• 它在检测安全关键故障方面也优于基于贪心策略的测试排序，且改进具有统计学显著性。
• 该方法以极低的计算开销（最高为总测试执行成本的 0.34%）实现了这一改进。
• 使用静态道路特征和多样性度量，可在无需历史执行结果的情况下实现有效的优先级排序。
• 元启发式搜索策略能有效探索测试用例空间，提前优先排序高影响的测试用例。
• 实证评估证实，基于静态特征的优先级排序在自动驾驶汽车虚拟测试中既具有可扩展性也有效。