[论文解读] Collision Avoidance Testing of the Waymo Automated Driving System

Kristofer D. Kusano, Kurt Beatty+4 more|arXiv (Cornell University)|Dec 15, 2022

Traffic and Road Safety被引用 16

一句话总结

本文提出了Waymo的碰撞规避测试（CAT）方法，这是一种基于场景的仿真框架，用于评估SAE L4级自动驾驶系统在由其他道路使用者引发的高风险冲突情境下的表现。该方法结合真实世界与合成的传感器数据，将避让动作与人类驾驶员参考模型进行对比测试，结果表明Waymo系统在旧金山和凤凰城测试环境中实现了接近零的碰撞率。

ABSTRACT

This paper describes Waymo's Collision Avoidance Testing (CAT) methodology: a scenario-based testing method that evaluates the safety of the Waymo Driver Automated Driving Systems' (ADS) intended functionality in conflict situations initiated by other road users that require urgent evasive maneuvers. Because SAE Level 4 ADS are responsible for the dynamic driving task (DDT), when engaged, without immediate human intervention, evaluating a Level 4 ADS using scenario-based testing is difficult due to the potentially infinite number of operational scenarios in which hazardous situations may unfold. To that end, in this paper we first describe the safety test objectives for the CAT methodology, including the collision and serious injury metrics and the reference behavior model representing a non-impaired eyes on conflict human driver used to form an acceptance criterion. Afterward, we introduce the process for identifying potentially hazardous situations from a combination of human data, ADS testing data, and expert knowledge about the product design and associated Operational Design Domain (ODD). The test allocation and execution strategy is presented next, which exclusively utilize simulations constructed from sensor data collected on a test track, real-world driving, or from simulated sensor data. The paper concludes with the presentation of results from applying CAT to the fully autonomous ride-hailing service that Waymo operates in San Francisco, California and Phoenix, Arizona. The iterative nature of scenario identification, combined with over ten years of experience of on-road testing, results in a scenario database that converges to a representative set of responder role scenarios for a given ODD. Using Waymo's virtual test platform, which is calibrated to data collected as part of many years of ADS development, the CAT methodology provides a robust and scalable safety evaluation.

研究动机与目标

• 开发一种可扩展的、基于场景的测试方法，用于评估SAE L4级自动驾驶系统在高风险冲突情境下的安全性。
• 定义可量化的安全指标——特别是碰撞率与严重伤害率——以评估自动驾驶系统的性能。
• 建立一个模拟非受损人类驾驶员行为的参考行为模型，作为自动驾驶系统性能接受标准的基准。
• 通过整合真实驾驶数据、自动驾驶系统测试数据以及对操作设计域（ODD）的专家知识，识别并优先处理高危场景。
• 通过十年的实车测试实现场景的迭代优化，最终形成针对特定ODD的代表性响应者角色场景集合。

提出的方法

• 构建一个聚焦于由其他道路使用者引发、需紧急避让动作的冲突场景的基于场景的测试框架。
• 利用测试场地、真实道路驾驶以及模拟传感器的数据，构建高保真的虚拟测试环境。
• 将虚拟测试平台与十年来自动驾驶系统开发过程中收集的真实世界数据进行标定，以确保真实感与准确性。
• 基于非受损、专注于冲突情境的驾驶行为，定义一个参考人类驾驶员行为模型，作为性能基准。
• 应用统计与基于仿真的测试分配策略，优先评估高风险场景。
• 在虚拟环境中执行测试，评估自动驾驶系统是否能在既定安全指标下避免碰撞并最小化受伤风险。

实验结果

研究问题

• RQ1 如何为SAE L4级自动驾驶系统识别出可扩展且具有代表性的高危冲突场景集合？
• RQ2 Waymo Driver系统在高风险场景下的避让动作中，与非受损人类驾驶员相比表现如何？
• RQ3 结合真实世界与合成传感器数据的基于仿真的测试，能否有效评估在安全关键条件下的碰撞规避性能？
• RQ4 通过十年实车测试实现的场景识别与迭代优化，如何提升场景数据库的代表性与覆盖度？
• RQ5 Waymo Driver系统在真实运行环境中，基于CAT方法实现的可测量碰撞率与严重伤害率是多少？

主要发现

• CAT方法通过十年以上实车测试的迭代优化，成功识别出收敛且具有代表性的响应者角色场景集合。
• Waymo Driver系统在旧金山和凤凰城的模拟冲突场景测试中表现出接近零的碰撞率，表明其在安全关键条件下的强大性能。
• 在关键安全指标上，该系统在避让动作中的表现与非受损人类驾驶员参考模型相当或更优。
• 结合真实与合成传感器数据的基于仿真的测试，实现了对碰撞规避行为的稳健、可扩展且可重复的评估。
• 经真实世界数据校准的虚拟测试平台，为自动驾驶系统应对复杂动态冲突情境的响应提供了高保真验证。
• 该方法通过支持场景设计与测试执行的快速迭代，实现了自动驾驶系统安全评估与持续改进的闭环。