[논문 리뷰] SafeBench: A Benchmarking Platform for Safety Evaluation of Autonomous Vehicles

Chejian Xu, Wenhao Ding외 7명|arXiv (Cornell University)|2022. 06. 20.

Autonomous Vehicle Technology and Safety인용 수 22

한 줄 요약

SafeBench은 8개의 안전-위험 시나리오, 4개의 시나리오 생성 알고리즘, 시나리오당 10개의 경로 변형, 4개의 딥 RL AD 알고리즘을 사용하고 10개의 평가 지표로 자율주행 에이전트를 공동 평가하는 통합 플랫폼입니다.

ABSTRACT

As shown by recent studies, machine intelligence-enabled systems are vulnerable to test cases resulting from either adversarial manipulation or natural distribution shifts. This has raised great concerns about deploying machine learning algorithms for real-world applications, especially in safety-critical domains such as autonomous driving (AD). On the other hand, traditional AD testing on naturalistic scenarios requires hundreds of millions of driving miles due to the high dimensionality and rareness of the safety-critical scenarios in the real world. As a result, several approaches for autonomous driving evaluation have been explored, which are usually, however, based on different simulation platforms, types of safety-critical scenarios, scenario generation algorithms, and driving route variations. Thus, despite a large amount of effort in autonomous driving testing, it is still challenging to compare and understand the effectiveness and efficiency of different testing scenario generation algorithms and testing mechanisms under similar conditions. In this paper, we aim to provide the first unified platform SafeBench to integrate different types of safety-critical testing scenarios, scenario generation algorithms, and other variations such as driving routes and environments. Meanwhile, we implement 4 deep reinforcement learning-based AD algorithms with 4 types of input (e.g., bird's-eye view, camera) to perform fair comparisons on SafeBench. We find our generated testing scenarios are indeed more challenging and observe the trade-off between the performance of AD agents under benign and safety-critical testing scenarios. We believe our unified platform SafeBench for large-scale and effective autonomous driving testing will motivate the development of new testing scenario generation and safe AD algorithms. SafeBench is available at https://safebench.github.io.

연구 동기 및 목표

• 자율주행(AD) 시스템의 전통적인 실제 주행 마일리지 테스트를 넘어 견고하고 확장 가능한 안전 평가를 촉진한다.
• 동일한 조건에서 서로 다른 시나리오 생성 방법을 비교하기 위한 통합 플랫폼을 제공한다.
• 다양한 안전-위험 시나리오, 경로, 센서 입력에 걸쳐 AD 알고리즘의 공정한 평가를 가능하게 한다.
• AD 성능에서 안전성, 기능성, 에티켓 간의 trade-off를 정량화한다.

제안 방법

• 4-노드 모듈형 플랫폼(Ego 차량, 에이전트, 시나리오, 평가)을 통해 CARLA 시뮬레이터 내 8개의 NHTSA-지정 안전-위험 운전 시나리오를 통합한다.
• 시나리오당 10개의 주행 경로에 4개의 시나리오 생성 알고리즘을 적용하여 2,352개의 안전-위험 시나리오를 생성한다.
• 다양한 지각 능력을 평가하기 위해 4개의 입력 유형을 사용한 4개의 딥 RL 기반 AD 알고리즘을 구현한다.
• 안전성, 기능성, 에티켓 수준에 걸친 10개의 지표를 사용해 AD 에이전트를 평가하고 전체 가중 점수 OS를 계산한다.
• 강건성 및 안전성을 연구하기 위해 적대적 기반 시나리오 생성 및 지식 기반 시나리오 생성을 지원한다.

실험 결과

연구 질문

• RQ1 다양한 시나리오 생성 알고리즘이 동일 테스트 조건에서 자율주행 에이전트의 안전성과 성능에 어떤 영향을 미치는가?
• RQ2 다양한 입력 모듈에 걸친 벤ign 및 안전-위험 시나리오 간에 AD 성능의 trade-off는 무엇인가?
• RQ3 어떤 안전-위험 시나리오와 생성 방법이 서로 다른 AD 알고리즘에 잘 전달되는가?
• RQ4 다양한 평가 지표(안전성, 기능성, 에티켓)가 AD의 전반적 안전성과 성능을 반영하는 방식은 어떠한가?

주요 결과

• 생성된 시나리오는 더 도전적이며, 정상적 조건과 안전-위험 조건 간의 AD 성능 trade-off를 드러낸다.
• 일부 안전-위험 시나리오는 AD 알고리즘 전반에 걸쳐 잘 전달되지만, 다른 시나리오는 알고리즘에 더 특화되어 있다.
• 다양한 시나리오 생성 알고리즘은 서로 다른 효과를 보이며, 적대적으로 생성된 시나리오는 더 높은 충돌 및 위험 비율을 낼 수 있다.
• 안전-위험 테스트에서 PPO가 종종 최적의 OS를 제공하는 반면, 다른 에이전트는 다른 지표에서 우수하며 강력한 안전-기능 trade-off가 관찰된다.
• CS(Carla Scenario Generator)는 AD 에이전트 간 전이성이 높게 나타나며, Adversarial Trajectory Optimization은 선택 후 높은 충돌 비율을 낼 수 있다.