[논문 리뷰] Efficient Black-box Assessment of Autonomous Vehicle Safety

Justin Norden, Matthew O’Kelly외 1명|arXiv (Cornell University)|2019. 12. 08.

Autonomous Vehicle Technology and Safety참고 문헌 43인용 수 54

한 줄 요약

이 논문은 적응적 다단 분할(adaptive multilevel splitting)과 적응적 중요도 샘플링(adaptive importance sampling)을 사용해 자율주행차 시뮬레이션에서 희귀 이벤트 사고 확률을 효율적으로 추정하는 블랙박스 기반 위험 프레임워크를 제시하고, Comma AI의 OpenPilot를 평가함으로써 이를 입증한다.

ABSTRACT

While autonomous vehicle (AV) technology has shown substantial progress, we still lack tools for rigorous and scalable testing. Real-world testing, the $ extit{de-facto}$ evaluation method, is dangerous to the public. Moreover, due to the rare nature of failures, billions of miles of driving are needed to statistically validate performance claims. Thus, the industry has largely turned to simulation to evaluate AV systems. However, having a simulation stack alone is not a solution. A simulation testing framework needs to prioritize which scenarios to run, learn how the chosen scenarios provide coverage of failure modes, and rank failure scenarios in order of importance. We implement a simulation testing framework that evaluates an entire modern AV system as a black box. This framework estimates the probability of accidents under a base distribution governing standard traffic behavior. In order to accelerate rare-event probability evaluation, we efficiently learn to identify and rank failure scenarios via adaptive importance-sampling methods. Using this framework, we conduct the first independent evaluation of a full-stack commercial AV system, Comma AI's OpenPilot.

연구 동기 및 목표

• 기초 트래픽 분포 아래에서 AV 안전성을 희귀 이벤트 확률로 정량화하는 위험 기반 프레임워크 정의.
• AV 정책에 대한 블랙박스 접근이 필요한 편향 없는/무편향의 희귀 이벤트 추정기를 개발.
• 검출된 실패로부터 실패 모드의 생성 모델을 학습해 위험을 우선순위 지정 및 순위 매기기.
• 전체 스택 AV 정책의 결정론적이고 동기화된 평가를 가능하게 하는 확장 가능한 시뮬레이션 시스템 구현.
• 사례 연구로 OpenPilot의 사고 확률을 추정하고 훨씬 더 적은 시뮬레이션으로 신뢰도를 효과적으로 보여주는 방법을 시연.

제안 방법

• 표준 교통 행동을 모델링하는 기본 분포에서 p_gamma = P0(f(X) < gamma)로 안전성 정의.
• 다단 분할을 통한 적응 비모수 중요도 샘플링으로 p_gamma를 중간 수준들 간의 조건부 확률의 곱으로 분해.
• 각 조건부 확률을 추정하고 고정된 버림분율 delta로 온라인으로 레벨을 적응시키기 위해 MCMC 활용.
• 편향/분산 보장 및 O(log(1/p_gamma)) 분산 스케일링을 갖는 적응적 다단 분할(AMS) 제안.
• AMS에서 발견된 실패 분포로부터 정상화 흐름(normalizing flows)을 사용해 실패 모드의 생성 모델을 학습.

실험 결과

연구 질문

• RQ1 블랙박스 AV 정책의 내부 구조를 노출하지 않고도 안전성을 평가할 수 있는가?
• RQ2 무편향 위험 지표로 자율주행 시뮬레이션에서 희귀하고 고위험 이벤트를 어떻게 효율적으로 추정할 수 있는가?
• RQ3 적응적 샘플링이 확장 가능하게 높은 가능성의 실패 시나리오를 식별하고 우선순위를 정할 수 있는가?
• RQ4 위험 기반의 시뮬레이션 주도 프레임워크가 풀스택 AV 시스템의 안전성 정량화를 신뢰할 수 있게 제공하는가?

주요 결과

• 이 프레임워크는 상용 풀스택 AV 정책(OpenPilot)의 독립적인 최초 평가를 가능하게 한다.
• 본 방법은 표준 방법보다 두 자릿수 적은 시뮬레이션으로 OpenPilot의 고장률을 1250마일당 1건으로 추정한다.
• AMS는 편향 없이 추정치를 제시하며 상대 분산이 log(1/p_gamma) 스케일링을 따른다(1/p_gamma가 아님).
• 세계의 확률적 위험 기반 모델을 학습하고 이를 바탕으로 실패 시나리오를 가능성으로 순위를 매길 수 있다.
• 확장 가능하고 분산된 시뮬레이션 구성은 실시간으로 결정론적 동기화된 실행을 지원한다.