[논문 리뷰] Learning to Collide: An Adaptive Safety-Critical Scenarios Generating Method

Wenhao Ding, Baiming Chen외 2명|arXiv (Cornell University)|2020. 03. 02.

Autonomous Vehicle Technology and Safety참고 문헌 37인용 수 11

한 줄 요약

이 논문은 강화학습 기반 프레임워크를 제안하며, 주행 알고리즘을 환경으로 간주하여 생성 모델이 자율적으로 안전에 취약한 교통 상황을 탐지하도록 훈련한다. 상황을 자동으로 구성하는 블록으로 모델링하고 정책 기반 강화학습 방법을 사용함으로써, 경로 및 파라미터 변화에 적응 가능한 다양한, 현실적이며 위험도가 높은 상황을 효율적으로 생성한다. 이는 격자 탐색 및 인간 설계 방법에 비해 효율성과 적응성 면에서 뛰어나다.

ABSTRACT

Long-tail and rare event problems become crucial when autonomous driving algorithms are applied in the real world. For the purpose of evaluating systems in challenging settings, we propose a generative framework to create safety-critical scenarios for evaluating specific task algorithms. We first represent the traffic scenarios with a series of autoregressive building blocks and generate diverse scenarios by sampling from the joint distribution of these blocks. We then train the generative model as an agent (or a generator) to investigate the risky distribution parameters for a given driving algorithm being evaluated. We regard the task algorithm as an environment (or a discriminator) that returns a reward to the agent when a risky scenario is generated. Through the experiments conducted on several scenarios in the simulation, we demonstrate that the proposed framework generates safety-critical scenarios more efficiently than grid search or human design methods. Another advantage of this method is its adaptiveness to the routes and parameters.

연구 동기 및 목표

• 실제 데이터에서 수집하기 어려운 희귀한 안전에 취약한 상황을 생성함으로써 자율주행의 장미산 문제를 해결한다.
• 격자 탐색 및 인간 설계 상황의 한계를 극복하여 시간이 오래 소요되고 경로 및 파라미터 변화에 적응성이 떨어지는 문제를 해결한다.
• 다양하고 현실적이며 높은 위험도를 지닌 상황을 특정 주행 알고리즘에 맞게 타이밍 맞춰 생성할 수 있는 확장 가능하고 적응 가능한 프레임워크를 개발한다.
• 학습된 상황 분포를 활용해 극단적이지만 현실적인 교통 조건 하에서 자율주행 시스템의 효율적 평가를 가능하게 한다.

제안 방법

• 교통 상황을 자동으로 구성하는 블록들로 구성된 인과적 그래픽 모델로 표현하며, 각 블록은 차량 위치, 속도, 경로 등의 상황 요소의 조건부 확률을 캡처한다.
• 생성 과정을 강화학습 에이전트로 모델링하여 이러한 빌드 블록들의 결합 분포에서 샘플링하여 상황을 생성한다.
• 목표 주행 알고리즘을 환경으로 간주하며, 더 위험한 상황을 생성할수록 보상을 더 많이 받도록 하여 탐색을 안전에 취약한 구성으로 이끈다.
• 특히 REINFORCE를 사용한 정책 기반 강화학습을 통해 생성기의 최적화를 수행하며, 입력 상태로는 경로와 목표 속도와 같은 작업에 특화된 파라미터를 포함한다.
• 훈련 중에 입력 상태를 균일하게 샘플링하여 다양한 주행 조건과 예상치 못한 파라미터 조합에 대한 적응성을 확보한다.
• 빌드 블록 설계 시 인간의 지식 기반 사전 지식을 활용하여 다양한 교통 상호작용에서의 현실성과 구조적 일관성을 보장한다.

실험 결과

연구 질문

• RQ1 심층 생성 모델을 사용하여 체계적인 격자 탐색이나 인간의 직관에 의존하지 않고 안전에 취약한 교통 상황을 효율적으로 탐지할 수 있는가?
• RQ2 생성 모델을 어떻게 다양한 주행 경로와 목표 속도와 같은 알고리즘적 파라미터에 적응시킬 수 있는가?
• RQ3 기본 방법에 비해 제안된 방법이 희귀하고 높은 위험도를 지닌 상황 생성의 효율성과 다양성 면에서 얼마나 향상되는가?
• RQ4 이 프레임워크는 실제 사고 통계와 교통 역학에 부합하는 다중모달성, 현실적인 안전에 취약한 상황을 생성할 수 있는가?

주요 결과

• 제안된 방법은 격자 탐색이나 인간 설계 방법에 비해 안전에 취약한 상황을 훨씬 더 빠르게 생성하며, 계산 비용은 감소하고 확장성은 향상된다.
• 이 프레임워크는 강력한 적응성을 보이며, 재학습 없이도 새로운 경로와 입력 파라미터에 대해 관련된 위험 상황을 생성할 수 있다. 이는 훈련 분포 외의 설정에도 적용 가능하다.
• 빨간불 통과, 보호 없는 좌회전, 신호등이 있는 교차로에서의 우회전 등 네 가지 실제 사고가 자주 발생하는 상황에 대한 실험을 통해, 이 방법이 높은 위험도를 지닌 파라미터 분포를 성공적으로 식별함을 입증했다.
• 위험 상황의 솔루션 공간은 다중모달성이고 비볼록적이며, 이 방법은 여러 안정된 정책 솔루션을 탐색함으로써 다양한 위험 구성의 탐색 능력이 뛰어나다는 것을 보여준다.
• 격자 탐색에 비해 다양한 경로와 속도에서 성능의 변동성이 낮으며, 새로운 설정이 생길 때마다 다시 시작할 필요가 없다.
• 시각화 결과는 생성된 상황이 현실적이며 실제 사고 보고서에서 관찰된 실제 사고 직전 상태와 유사함을 확인한다.