[논문 리뷰] NuPlan: A closed-loop ML-based planning benchmark for autonomous vehicles

Holger Caesar, Juraj Kabzan외 7명|arXiv (Cornell University)|2021. 06. 22.

Traffic Prediction and Management Techniques인용 수 84

한 줄 요약

세계 최초의 폐루프 ML 기반 자율주행 계획 벤치마크를 소개하며, 대규모 실세계 데이터셋, 경량의 폐루프 시뮬레이터, 그리고 계획-전용 메트릭스를 포함합니다.

ABSTRACT

In this work, we propose the world's first closed-loop ML-based planning benchmark for autonomous driving. While there is a growing body of ML-based motion planners, the lack of established datasets and metrics has limited the progress in this area. Existing benchmarks for autonomous vehicle motion prediction have focused on short-term motion forecasting, rather than long-term planning. This has led previous works to use open-loop evaluation with L2-based metrics, which are not suitable for fairly evaluating long-term planning. Our benchmark overcomes these limitations by introducing a large-scale driving dataset, lightweight closed-loop simulator, and motion-planning-specific metrics. We provide a high-quality dataset with 1500h of human driving data from 4 cities across the US and Asia with widely varying traffic patterns (Boston, Pittsburgh, Las Vegas and Singapore). We will provide a closed-loop simulation framework with reactive agents and provide a large set of both general and scenario-specific planning metrics. We plan to release the dataset at NeurIPS 2021 and organize benchmark challenges starting in early 2022.

연구 동기 및 목표

• 자율주행에서 ML 기반 계획을 위한 대규모 실세계 데이터셋 제공
• 다른 에이전트와의 상호 작용을 평가하기 위한 폐루프 계획 벤치마크 도입
• 안전성, 인간 운전과의 유사성, 시나리오 기반 평가를 포함한 계획 특화 메트릭 정의
• ML 기반 계획 평가의 커뮤니티 주도 개발 및 표준화를 가능하게 함

제안 방법

• 네 도시(Las Vegas, Boston, Pittsburgh, Singapore)에서 센서 모음과 의미 맵을 갖춘 1500시간의 자동 라벨링 주행 데이터를 공개합니다.
• 계획된 궤적을 따르는 컨트롤러와 반응적 에이전트 모델링을 갖춘 경량 폐루프 시뮬레이터를 제공합니다.
• 교통 규칙 준수, 인간 운전에 대한 유사성, 차량 역학, 목표 달성 및 시나리오 기반 케이스를 포괄하는 계획 중심 평가 메트릭을 정의합니다.
• 컨테이너화된 평가 프레임워크를 통해 반응적 및 비반응적 폐루프 작업을 포함한 개방 루프(Open-loop) 및 폐루프 평가를 지원합니다.
• 시나리오에 자동으로 태그를 달아(예: 합류, 차선 변경, 보호 좌회전) 시나리오 기반 메트릭을 가능하게 합니다.

실험 결과

연구 질문

• RQ1 실제 주행 데이터로부터 폐루프 ML 기반 계획 벤치마크를 어떻게 형성할 수 있는가?
• RQ2 자율주행에서 계획 품질, 안전성, 목표 달성을 가장 잘 포착하는 메트릭은 무엇인가?
• RQ3 ML 기반 플래너는 비반응적 vs. 반응적 폐루프 조건에서 어떻게 수행되는가?
• RQ4 표준화된 벤치마크가 지리별 및 교통 패턴에 걸친 ML 기반 계획의 발전을 가속화할 수 있는가?

주요 결과

• 실제 데이터에 대한 폐루프 계획자 평가를 위한 최초의 공개 벤치마크를 제안함
• 4개 도시에서 고품질 자동 라벨링 트랙이 포함된 가장 큰 공개 실세계 AV 데이터세트를 제공함
• 교통 규칙 위반, 인간 운전 유사성, 차량 역학, 목표 달성 등을 포함하는 계획 특화 메트릭의 포괄적 세트를 제시함
• 컨테이너화된 계획자 제출을 통한 재현 가능한 폐루프 테스트를 가능하게 하는 개방형 평가 워크플로를 도입함