[论文解读] Interpreting Safety Outcomes: Waymo's Performance Evaluation in the Context of a Broader Determination of Safety Readiness

Francesca Favarò, Trent Victor+2 more|arXiv (Cornell University)|Jun 23, 2023

Risk and Safety AnalysisDecision Sciences被引用 3

一句话总结

本文批判了仅依赖汇总事故数据来评估Waymo自动驾驶系统（ADS）安全性的做法，主张采用更全面的安全准备度评估方法，整合持续的在用车监控、事件级分析以及替代性估算技术，以解决自动驾驶系统与人工驾驶基准之间的‘可信度悖论’。文章倡导建立超越简单结果报告的多样化安全评估框架。

ABSTRACT

This paper frames recent publications from Waymo within the broader context of the safety readiness determination for an Automated Driving System (ADS). Starting from a brief overview of safety performance outcomes reported by Waymo (i.e., contact events experienced during fully autonomous operations), this paper highlights the need for a diversified approach to safety determination that complements the analysis of observed safety outcomes with other estimation techniques. Our discussion highlights: the presentation of a "credibility paradox" within the comparison between ADS crash data and human-derived baselines; the recognition of continuous confidence growth through in-use monitoring; and the need to supplement any aggregate statistical analysis with appropriate event-level reasoning.

研究动机与目标

• 分析仅依赖汇总事故数据评估Waymo自动驾驶系统（ADS）安全性能的局限性。
• 识别将ADS事故率与人工驾驶车辆基准进行比较时出现的‘可信度悖论’。
• 倡导一种更广泛的安全准备度判定方法，整合持续监控与事件级推理。
• 提出补充性估算技术，以在统计结果之外增强对ADS安全性的信心。
• 支持对自动化驾驶系统准备度进行更全面、基于证据的评估。

提出的方法

• 本文对Waymo公开发布的安全性能结果进行了批判性回顾，重点关注完全自动驾驶运行期间的接触事件。
• 提出了‘可信度悖论’的概念，即自动驾驶系统中较低的事故率在与人工驾驶基准比较时，可能因数据量不足而缺乏统计可信度。
• 作者强调通过在用车监控实现持续的信心积累，认为这应是安全评估的核心组成部分。
• 主张通过详细事件级分析补充汇总统计数据，以理解安全结果背后的根本原因。
• 该框架整合了超越实际观测结果的多种估算技术，以支持安全准备度决策。
• 该方法借鉴了软件工程与安全关键系统的原则，用于评估ADS的可靠性和准备度。

实验结果

研究问题

• RQ1 与人工驾驶车辆表现相比，Waymo报告的安全结果在多大程度上是可信的？
• RQ2 为何自动驾驶运行中接触事件数量较少，并不必然意味着安全准备度高？
• RQ3 持续的在用车监控在建立对ADS安全性的信心方面发挥什么作用？
• RQ4 事件级分析如何在超越汇总统计数据的基础上改善对安全结果的解读？
• RQ5 需要哪些替代性估算技术来支持全面的安全准备度判定？

主要发现

• 当自动驾驶车辆的低事故率因数据量不足而缺乏统计可信度时，‘可信度悖论’便会出现，使其在与人工驾驶基准比较时可信度反而更低。
• 持续的在用车监控可实现对ADS性能的持续信心积累，这对安全准备度评估至关重要。
• 仅依靠汇总统计数据不足以进行安全评估；必须辅以事件级推理，以理解安全结果的根本原因。
• 通过估算技术补充实际观测结果，可增强安全准备度判定的稳健性。
• 建立多样化的安全评估框架对于实现可信且可辩护的自动化驾驶系统评估至关重要。
• 本文结论指出，安全准备度不能仅通过事故数据确定，必须整合监控、分析与估算方法。