[论文解读] Coverage-based Scene Fuzzing for Virtual Autonomous Driving Testing

Zhisheng Hu, Shengjian Guo+2 more|arXiv (Cornell University)|Jun 2, 2021

Autonomous Vehicle Technology and Safety参考文献 11被引用 11

一句话总结

本文提出 ASF，一种基于覆盖率的模糊测试技术，通过变异环境参数（如车辆位置、速度和天气状况）自动为虚拟自动驾驶测试用例生成多样化的动态配置。通过使用轨迹覆盖率作为反馈指标，ASF 能够高效发现罕见且高风险的场景——包括碰撞和近碰撞事件——这些场景通过随机或手动测试难以发现，显著提升了仿真环境中的安全测试效率与效果。

ABSTRACT

Simulation-based virtual testing has become an essential step to ensure the safety of autonomous driving systems. Testers need to handcraft the virtual driving scenes and configure various environmental settings like surrounding traffic, weather conditions, etc. Due to the huge amount of configuration possibilities, the human efforts are subject to the inefficiency in detecting flaws in industry-class autonomous driving system. This paper proposes a coverage-driven fuzzing technique to automatically generate diverse configuration parameters to form new driving scenes. Experimental results show that our fuzzing method can significantly reduce the cost in deriving new risky scenes from the initial setup designed by testers. We expect automated fuzzing will become a common practice in virtual testing for autonomous driving systems.

研究动机与目标

• 解决由于动态环境因素配置空间庞大而导致的自动驾驶系统虚拟安全测试效率低下且不完整的问题。
• 通过自动化生成多样化且具有挑战性的虚拟驾驶场景，减少对人工、耗时的测试用例编写的依赖。
• 通过反馈驱动的变异策略，提升对罕见危险边界情况（尤其是涉及碰撞或近碰撞的情况）的检测能力。
• 开发一种可扩展且实用的技术，用于大规模虚拟安全测试，与实际道路测试相辅相成。

提出的方法

• 提出轨迹覆盖率作为新型反馈指标，用于评估仿真环境中自动驾驶车辆轨迹的多样性与新颖性。
• 设计针对性的变异策略，以改变虚拟测试用例中的动态配置，如周边车辆位置、速度和天气状况。
• 集成反馈循环，根据轨迹覆盖率优先选择并演化测试用例，优先选择能产生新或差异性驾驶行为的用例。
• 将碰撞视为关键事件并记录，以便人工分析，从而检测自动驾驶系统中潜在的细微逻辑缺陷。
• 使用 SVL 模拟器和 Apollo 5.0.0 作为测试平台，在真实虚拟驾驶条件下评估该方法。
• 采用种子选择与变异策略，优先探索极有可能产生新颖或高风险轨迹的配置空间区域。

实验结果

研究问题

• RQ1 如何通过自动化测试用例生成提升虚拟自动驾驶测试中发现罕见且危险场景的效率？
• RQ2 轨迹覆盖率作为反馈指标在提升模糊测试识别高风险驾驶配置有效性方面，其增强程度如何？
• RQ3 基于覆盖率的方法是否能优于基于适应度或随机模糊测试，在自动驾驶仿真中发现碰撞和近碰撞事件？
• RQ4 哪些变异策略在探索虚拟驾驶场景的动态配置空间方面最为有效，能够最大化测试多样性与故障检测能力？

主要发现

• ASF 在 40 次模糊测试迭代内发现了两个碰撞案例和一个近碰撞案例，而 AV-Fuzzer 仅发现一个近碰撞案例，随机模糊测试则未发现任何案例。
• 与交通锥的碰撞是由于 Apollo 的借道逻辑中存在逻辑缺陷，系统在穿越双黄实线前未检查车道边界的类型。
• ASF 基于轨迹覆盖率的反馈机制使其能够探索更广泛的驾驶行为，从而显著提高发现严重边界情况的可能性。
• 与手动或随机方法相比，该方法显著减少了生成高影响力测试用例所需的时间与精力。
• 多个此前未被检测到的 Apollo 5.0.0 缺陷在后续的 Apollo 6.x 版本中被确认并修复，验证了 ASF 的实际影响。
• ASF 在覆盖率和故障检测方面均优于 AV-Fuzzer 和随机模糊测试，证明了在虚拟安全测试中基于覆盖率的反馈具有显著优势。