[论文解读] AmbieGen: A Search-based Framework for Autonomous Systems Testing

Dmytro Humeniuk, Foutse Khomh+1 more|arXiv (Cornell University)|Jan 1, 2023

Software Testing and Debugging Techniques被引用 5

一句话总结

AmbieGen 是一个开源的基于搜索的框架，利用进化算法自动生成多样且具有挑战性的自主系统测试场景，例如自动驾驶汽车和机器人。它在 SBST 2022 工具竞赛中胜出，能够在有限的时间预算内高效识别出暴露故障的测试场景，其模块化架构支持可扩展性，并可与模拟器集成。

ABSTRACT

Thorough testing of safety-critical autonomous systems, such as self-driving cars, autonomous robots, and drones, is essential for detecting potential failures before deployment. One crucial testing stage is model-in-the-loop testing, where the system model is evaluated by executing various scenarios in a simulator. However, the search space of possible parameters defining these test scenarios is vast, and simulating all combinations is computationally infeasible. To address this challenge, we introduce AmbieGen, a search-based test case generation framework for autonomous systems. AmbieGen uses evolutionary search to identify the most critical scenarios for a given system, and has a modular architecture that allows for the addition of new systems under test, algorithms, and search operators. Currently, AmbieGen supports test case generation for autonomous robots and autonomous car lane keeping assist systems. In this paper, we provide a high-level overview of the framework's architecture and demonstrate its practical use cases.

研究动机与目标

• 解决在自主系统测试中探索庞大且高维测试场景空间的挑战。
• 开发一个可扩展且可扩展的框架，用于生成能暴露系统故障的对抗性测试用例。
• 通过支持不同算法、算子和适应度函数的实验，促进搜索基础测试的研究。
• 提升安全关键型自主系统（如车道保持辅助系统和机器人导航）的测试多样性与故障检测能力。
• 提供一个可重用的开源工具，兼容仿真环境，并可扩展以支持新系统和测试目标。

提出的方法

• 通过 Pymoo 框架使用进化搜索，探索自主系统虚拟环境配置的空间。
• 将测试场景表示为二维数组，编码离散的环境特征，如道路拓扑、障碍物位置和动态智能体。
• 使用简化的系统模型快速计算适应度分数，引导搜索朝向暴露故障的场景。
• 支持多种搜索算法，包括随机搜索、单目标遗传算法和多目标 NSGA-II。
• 支持对初始化、交叉、变异和适应度函数等组件进行模块化扩展，以适应自定义测试问题。
• 计划与模拟器集成，以验证生成的场景，并将反馈整合到适应度评估中。

实验结果

研究问题

• RQ1 保真度保持技术在多大程度上提升了自主系统测试套件的覆盖范围和故障检测能力？
• RQ2 不同搜索算子和算法（如 NSGA-II 与单目标 GA）在收敛速度和暴露故障的有效性方面有何比较？
• RQ3 哪种适应度函数最能有效引导搜索，以发现神经网络驱动的自主系统中的关键故障场景？
• RQ4 使用简化模型进行适应度评估，在引导真实系统故障搜索方面有多有效？
• RQ5 该框架能否扩展以支持复杂的真实世界场景规范（如 SCENIC）以及与 CARLA 等主流模拟器的集成？

主要发现

• AmbieGen 在 SBST 2022 工具竞赛中胜出，成功在受限时间预算内为自动驾驶汽车车道保持辅助系统生成了最多数量的多样化、暴露故障的测试场景。
• 该框架在使用 NSGA-II 和单目标遗传算法时表现出色，相较于随机搜索，在故障检测和场景多样性方面均表现更优。
• 模块化架构支持无缝集成新被测系统、适应度函数和搜索算子，支持快速实验。
• 使用简化模型进行适应度评估显著降低了计算成本，同时仍能有效引导搜索朝向有意义的故障场景。
• 该框架与 Pymoo 生态系统兼容，使研究人员能够利用先进的优化算法和对比分析功能。
• 该工具已开源，通过 CodeOcean 模块和 GitHub 仓库实现完全可复现，支持社区贡献和长期可扩展性。