[논문 리뷰] Collision Avoidance Testing of the Waymo Automated Driving System

Kristofer D. Kusano, Kurt Beatty외 4명|arXiv (Cornell University)|2022. 12. 15.

Traffic and Road Safety인용 수 16

한 줄 요약

이 논문은 사전에 다른 도로 사용자가 유도한 고위험 충돌 상황에서 SAE 레벨 4 자율주행 시스템을 평가하는 시나리오 기반 시뮬레이션 프레임워크인 웨이모의 충돌 회피 테스팅(CAT) 방법론을 제시한다. 실제 및 합성 센서 데이터를 사용하여 인간 운전자 기준 모델과의 비교를 통해, 웨이모의 시스템이 샌프란시스코와 피닉스 테스트 환경에서 거의 영역 충돌률을 기록함을 입증한다.

ABSTRACT

This paper describes Waymo's Collision Avoidance Testing (CAT) methodology: a scenario-based testing method that evaluates the safety of the Waymo Driver Automated Driving Systems' (ADS) intended functionality in conflict situations initiated by other road users that require urgent evasive maneuvers. Because SAE Level 4 ADS are responsible for the dynamic driving task (DDT), when engaged, without immediate human intervention, evaluating a Level 4 ADS using scenario-based testing is difficult due to the potentially infinite number of operational scenarios in which hazardous situations may unfold. To that end, in this paper we first describe the safety test objectives for the CAT methodology, including the collision and serious injury metrics and the reference behavior model representing a non-impaired eyes on conflict human driver used to form an acceptance criterion. Afterward, we introduce the process for identifying potentially hazardous situations from a combination of human data, ADS testing data, and expert knowledge about the product design and associated Operational Design Domain (ODD). The test allocation and execution strategy is presented next, which exclusively utilize simulations constructed from sensor data collected on a test track, real-world driving, or from simulated sensor data. The paper concludes with the presentation of results from applying CAT to the fully autonomous ride-hailing service that Waymo operates in San Francisco, California and Phoenix, Arizona. The iterative nature of scenario identification, combined with over ten years of experience of on-road testing, results in a scenario database that converges to a representative set of responder role scenarios for a given ODD. Using Waymo's virtual test platform, which is calibrated to data collected as part of many years of ADS development, the CAT methodology provides a robust and scalable safety evaluation.

연구 동기 및 목표

• 고위험 충돌 상황에서 SAE 레벨 4 자율주행 시스템의 안전성을 평가하기 위한 확장 가능하고 시나리오 기반의 테스팅 방법론을 개발하기 위해.
• 충돌 및 심각한 부상 발생률을 포함한 측정 가능한 안전 지표를 정의하여 자율주행 시스템 성능을 평가하기 위해.
• 비장애 상태의 인간 운전자를 모방하는 기준 행동 모델을 수립하여 자율주행 시스템 성능의 수용 기준을 설정하기 위해.
• 운영 설계 영역(ODD)에 대한 실제 주행 데이터, ADS 테스트 데이터 및 전문 지식을 통합하여 위험한 시나리오를 식별하고 우선순위를 정하기 위해.
• 10년간의 현장 테스팅을 바탕으로 반복적인 시나리오 개선을 통해 특정 ODD에 적합한 대응자 역할 시나리오의 대표성 있는 집합을 확보하기 위해.

제안 방법

• 다른 도로 사용자가 유도한 충돌 상황에서 급격한 방지 조치가 필요한 고위험 상황에 초점을 맞춘 시나리오 기반 테스팅 프레임워크를 구축하기 위해.
• 테스트 트랙, 실제 주행, 시뮬레이션된 센서에서 수집한 센서 데이터를 활용하여 고해상도 가상 테스트 환경을 구축하기 위해.
• ADS 개발 과정에서 10년간 수집한 실제 데이터를 기반으로 가상 테스트 플랫폼을 校정하여 현실성과 정확성을 확보하기 위해.
• 비장애 상태이자 시각이 충돌 상황에 집중된 운전 행동을 기반으로 한 기준 인간 운전자 행동 모델을 정의하여 성능 기준으로 활용하기 위해.
• 통계적 및 시뮬레이션 기반 테스트 배분 전략을 적용하여 평가 대상으로 삼을 고위험 시나리오를 우선순위 정하기 위해.
• 가상 환경에서 테스트를 수행하여 ADS가 정의된 안전 지표 기준 하에 충돌을 방지하고 부상 위험을 최소화하는지 평가하기 위해.

실험 결과

연구 질문

• RQ1 SAE 레벨 4 자율주행 시스템을 위한 확장 가능하고 대표성 있는 고위험 충돌 시나리오 집합은 어떻게 식별할 수 있는가?
• RQ2 웨이모 드라이버 시스템은 고위험 상황에서 급격한 방지 조치를 취할 때 비장애 상태의 인간 운전자와 비교해 어느 정도 유사한 성능을 보이는가?
• RQ3 실제 및 합성 센서 데이터를 활용한 시뮬레이션 기반 테스팅은 안전 핵심 조건 하에서 충돌 회피 성능을 효과적으로 평가할 수 있는가?
• RQ4 10년간의 현장 테스팅을 바탕으로 반복적인 시나리오 식별 및 개선 과정을 거치면 시나리오 데이터베이스의 대표성과 커버리지가 어떻게 향상되는가?
• RQ5 CAT 방법론을 사용하여 실제 운영 환경에서 웨이모 드라이버 시스템이 기록한 측정 가능한 충돌 및 심각한 부상 발생률은 무엇인가?

주요 결과

• CAT 방법론은 10년이 넘는 현장 테스팅 기간 동안 반복적인 개선을 통해 수렴된 대표성 있는 대응자 역할 시나리오 집합을 성공적으로 식별하였다.
• 웨이모 드라이버 시스템은 샌프란시스코와 피닉스에서의 시뮬레이션 충돌 상황 테스트에서 거의 영역 충돌률을 기록하여 안전 핵심 조건 하에서도 뛰어난 성능을 입증하였다.
• 주요 안전 지표에서 시스템의 급격한 방지 조치 성능은 비장애 상태 인간 운전자 기준 모델과 유사하거나 이를 초월하였다.
• 실제 및 합성 센서 데이터를 활용한 시뮬레이션 기반 테스팅은 충돌 회피 행동의 강력하고 확장 가능하며 반복 가능한 평가를 가능하게 하였다.
• 실제 데이터에 校정된 가상 테스트 플랫폼은 복잡하고 동적인 충돌 상황에서 ADS의 반응을 고해상도로 검증하였다.
• 시나리오 설계 및 테스트 실행에 대한 빠른 반복을 가능하게 하여 지속적인 안전 평가 및 향상이 가능하다는 점에서 방법론의 유연성을 입증하였다.