[논문 리뷰] A Scenario-Based Platform for Testing Autonomous Vehicle Behavior Prediction Models in Simulation

Francis Indaheng, Edward Kim외 5명|arXiv (Cornell University)|2021. 10. 28.

Autonomous Vehicle Technology and Safety참고 문헌 19인용 수 8

한 줄 요약

이 논문은 Scenic 확률 프로그래밍 언어와 VerifAI를 사용하여 자율주행차 행동 예측 모델을 시나리오 기반으로 시뮬레이션 테스트하기 위한 플랫폼을 제시한다. 이 플랫폼은 다중 목적 평가 지표의 위반 검출을 가능하게 하며, 25개의 합성적이고 상호작용적인 교통 시나리오를 통해 LaneGCN과 같은 모델의 스케일러블하고 병렬화된 테스트를 지원한다. 자동화된 시나리오 생성 및 우선순위가 부여된 지표를 통한 평가를 통해 실패 케이스를 식별하며, 극단 케이스를 드러내는 데 높은 효율성과 효과성을 입증한다.

ABSTRACT

Behavior prediction remains one of the most challenging tasks in the autonomous vehicle (AV) software stack. Forecasting the future trajectories of nearby agents plays a critical role in ensuring road safety, as it equips AVs with the necessary information to plan safe routes of travel. However, these prediction models are data-driven and trained on data collected in real life that may not represent the full range of scenarios an AV can encounter. Hence, it is important that these prediction models are extensively tested in various test scenarios involving interactive behaviors prior to deployment. To support this need, we present a simulation-based testing platform which supports (1) intuitive scenario modeling with a probabilistic programming language called Scenic, (2) specifying a multi-objective evaluation metric with a partial priority ordering, (3) falsification of the provided metric, and (4) parallelization of simulations for scalable testing. As a part of the platform, we provide a library of 25 Scenic programs that model challenging test scenarios involving interactive traffic participant behaviors. We demonstrate the effectiveness and the scalability of our platform by testing a trained behavior prediction model and searching for failure scenarios.

연구 동기 및 목표

• 실제 훈련 데이터에 잘 반영되지 않은 드문 또는 복잡한 교통 시나리오에서 행동 예측 모델을 테스트하는 데 도전하는 것.
• 직관적인 상호작용 교통 시나리오 모델링을 지원하는 확장 가능한 시뮬레이션 기반 플랫폼을 개발하는 것.
• 더 세밀한 모델 평가를 위해 다중 목적 평가 지표의 부분적 우선순위 순서를 제공하는 것.
• 지능적인 샘플링과 병렬 실행을 활용한 자동화된 실패 케이스 탐색을 가능하게 하는 것.

제안 방법

• 에이전트의 초기 상태와 동적 행동에 대한 분포를 정의하기 위해 확률 프로그래밍 언어인 Scenic을 사용하여 시나리오를 모델링한다.
• 훈련된 행동 예측 모델(예: LaneGCN)을 OpenDRIVE 지ap 형식과 궤적 입력/출력 변환을 통해 CARLA 시뮬레이터와 통합한다.
• minADE, minFDE 및 MR 거리 임계값을 사용하여 예측 정확도를 평가하기 위해 부분적 우선순위 순서가 부여된 다중 목적 평가 지표를 정의한다.
• VerifAI의 다중 팔 랜드미어 샘플러를 사용하여 시나리오 공간을 지능적으로 탐색하고 반례의 발견을 극대화한다.
• 여러 워커를 통해 시뮬레이션을 병렬화하여 테스트 효율성을 극대화하며, 런타임 벤치마크를 통해 성능 향상을 검증한다.
• 상호작용 단계 동안 모델 행동을 평가하기 위해 다양한 시간대에 샘플링된 120개의 구체적 시나리오당 시나리오 유형별로 시스템 성능을 로그 및 분석한다.

실험 결과

연구 질문

• RQ1 어떻게 상호작용적이고 극단적인 교통 시나리오를 효과적으로 모델링하고 합성하여 행동 예측 모델의 시뮬레이션 테스트를 수행할 수 있는가?
• RQ2 부분적 우선순위 순서가 부여된 다중 목적 평가 지표는 행동 예측 모델의 임계 실패 모드 탐지에 얼마나 기여하는가?
• RQ3 지능적인 샘플링과 함께 병렬화된 시나리오 기반 위반 검출은 자율주행차 예측 시스템의 테스트 스케일링과 효율성에 어떻게 기여하는가?
• RQ4 이 플랫폼은 다양한 복잡한 교차로 시나리오에서 실세계 훈련 모델인 LaneGCN의 실패 케이스를 얼마나 효과적으로 드러내는가?
• RQ5 플랫폼은 시나리오 내에서 에이전트 상호작용의 시점과 단계에 따라 달라지는 실패 패턴을 식별할 수 있는가?

주요 결과

• 플랫폼은 보호 없는 좌회전과 융합 운전과 같은 다섯 개의 복잡한 교차로 시나리오에서 LaneGCN 모델의 실패 케이스를 성공적으로 식별했다.
• 최대 5명의 워커를 사용한 병렬 실행 덕분에 뚜렷한 성능 향상이 이루어졌으며, 120개 시뮬레이션의 순차적 실행 대비 런타임이 감소했다.
• 다중 팔 랜드미어 샘플러는 시나리오 공간을 효과적으로 탐색하여 반례 발견과 특징 공간의 다양성을 균형 있게 확보했다.
• 실패 케이스는 20, 40, 60, 80초 등 다양한 시간대에서 발견되었으며, 이는 모델 성능이 상호작용 단계에 따라 변동됨을 시사한다.
• 실세계에서 30만 개의 시나리오로 훈련된 실제 모델을 테스트하는 데 있어 플랫폼은 확장성과 효과성을 입증했으며, 훈련 데이터에 잘 반영되지 않은 극단 케이스를 드러냈다.
• Scenic과 CARLA, VerifAI의 통합은 최소한의 모델 종속성 영향을 미치며 원활하고 모듈화된 테스트를 가능하게 했다.