[논문 리뷰] Adaptive Stress Testing for Autonomous Vehicles

Mark Koren, Saud Alsaif외 2명|arXiv (Cornell University)|2019. 02. 05.

Autonomous Vehicle Technology and Safety참고 문헌 21인용 수 4

한 줄 요약

이 논문은 강화학습을 사용하여 자율주행차의 시뮬레이션에서 고확률 고장 시나리오를 효율적으로 식별하기 위해 적응형 스트레스 테스팅(Adaptive Stress Testing, AST) 프레임워크를 제안한다. 문제를 마르코프 결정 과정(Markov Decision Process, MDP)으로 공식화하고, 몬테카를로 트리 탐색(Monte Carlo Tree Search, MCTS)과 딥 강화학습(Deep Reinforcement Learning, DRL)을 비교함으로써, DRL이 MCTS보다 수십만 분의 일 수준의 시뮬레이터 호출로 더 높은 확률의 고장을 발견함을 보여주며, 이는 효율성 향상에 기여한다.

ABSTRACT

This paper presents a method for testing the decision making systems of autonomous vehicles. Our approach involves perturbing stochastic elements in the vehicle's environment until the vehicle is involved in a collision. Instead of applying direct Monte Carlo sampling to find collision scenarios, we formulate the problem as a Markov decision process and use reinforcement learning algorithms to find the most likely failure scenarios. This paper presents Monte Carlo Tree Search (MCTS) and Deep Reinforcement Learning (DRL) solutions that can scale to large environments. We show that DRL can find more likely failure scenarios than MCTS with fewer calls to the simulator. A simulation scenario involving a vehicle approaching a crosswalk is used to validate the framework. Our proposed approach is very general and can be easily applied to other scenarios given the appropriate models of the vehicle and the environment.

연구 동기 및 목표

• 매우 넓고 복잡한 주행 시나리오 공간에서 자율주행차의 의사결정 시스템 검증 문제를 해결하기 위해.
• 희귀한 충돌 사건으로 인해 직접 몬테카를로 샘플링이 불가능한 상황에서, 시뮬레이션 내 고확률 고장 시나리오를 찾는 데 효율성을 향상시키기 위해.
• 이전에 항공기에서 사용된 AST 방법론을 자율주행차에 적용하기 위해 강화학습을 활용하여 확장하기 위해.
• AST의 해법으로서 MCTS와 DRL을 비교하여, 고장 시나리오 식별 능력과 효율성 측면에서의 성능을 평가하기 위해.
• 차량, 센서, 동역학 모델을 교환 가능하게 지원하는 모듈러 시뮬레이션 프레임워크를 개발하여 유연한 테스팅을 가능하게 하기 위해.

제안 방법

• 고장 발생 확률을 최대화하기 위해 환경의 변형을 통해 상태 공간을 탐색하는 것을 목표로 하는 마르코프 결정 과정(Markov Decision Process, MDP)으로 적응형 스트레스 테스팅 문제를 공식화한다.
• 이중 점진적 넓이 확장(Double Progressive Widening, DPW)을 적용한 몬테카를로 트리 탐색(Monte Carlo Tree Search, MCTS)을 사용하여 상태 공간을 탐색하고 트리 기반 샘플링을 통해 고장을 식별한다.
• 행동의 평균을 정규분포에서 샘플링하는 정책 네트워크를 사용한 딥 강화학습(Deep Reinforcement Learning, DRL)을 구현하며, 행동은 확률적으로 샘플링된다.
• 일반화된 이점 추정(Generalized Advantage Estimation, GAE)을 사용하여 시뮬레이션 트레이젝터리에서 정책 기울기를 계산함으로써 정책 최적화를 효율적으로 수행한다.
• 충돌 발생 확률을 최대화하는 보상 함수를 정의하며, 상태 공간에는 차량 위치, 보행자 행동, 센서 노이즈가 포함된다.
• 차량, 센서, 동역학 모델을 쉽게 교체할 수 있는 모듈러 시뮬레이션 프레임워크를 자동차 주행 모델(Automotive Driving Models, ADM) 시뮬레이터 기반으로 구축한다.

실험 결과

연구 질문

• RQ1 딥 강화학습(DRL)이 자율주행차의 고확률 고장 시나리오 식별에서 몬테카를로 트리 탐색(MCTS)을 능가할 수 있는가?
• RQ2 DRL의 효율성은 고장 시나리오를 찾기 위해 필요한 시뮬레이터 호출 수 측면에서 MCTS와 비교해 볼 때 어떻게 되는가?
• RQ3 다른 환경 모델을 가진 자율주행차 시나리오에 대해 AST 프레임워크를 얼마나 일반화하여 적용할 수 있는가?
• RQ4 MCTS와 DRL 솔루션 간의 보행자 및 차량 트레이젝터리의 차이점은 무엇이며, 이는 고장 시나리오의 품질에 대해 어떤 통찰을 제공하는가?
• RQ5 자율주행차가 책임이 있는 고장 사례에 집중하기 위해 관심 있는 사건 공간을 재정의함으로써 AST를 향상시킬 수 있는가?

주요 결과

• DRL은 MCTS가 필요로 하는 시뮬레이터 호출 수의 1퍼센트 미만으로 더 높은 확률의 고장을 발견하여, 훨씬 뛰어난 효율성을 입증했다.
• 단일 보행자, 이중 보행자, 다양한 보행자 시작 위치를 포함한 모든 테스트 시나리오에서 DRL은 수렴 속도와 해의 품질 측면에서 일관되게 MCTS를 능가했다.
• DRL이 생성한 보행자 트레이젝터리는 더 매끄럽고 가속도가 적어, MCTS가 생성한 급격하고 고가속도의 동작보다 더 현실적이고 가능성이 높은 고장 경로를 반영하고 있었다.
• MCTS는 다중 에이전트 시나리오, 특히 이중 보행자 케이스에서 결합 효과를 잘 다루지 못했으며, 첫 번째 보행자가 최적의 경로를 따르지 않아 전체 보상 효율성이 떨어졌다.
• 차량이 보행자를 제때 감지하지 못해 고장이 발생한 시나리오 2를 성공적으로 식별하여, 자율주행차의 책임이 있는 고장을 중심으로 관심 사건 공간을 재정의할 필요성을 부각시켰다.
• 모듈러 시뮬레이션 프레임워크 덕분에 다양한 센서 모델, 의사결정 시스템, 환경 동역학 모델의 간편한 통합이 가능하여 광범위한 적용 가능성을 확보했다.