[논문 리뷰] ScenarioNet: Open-Source Platform for Large-Scale Traffic Scenario Simulation and Modeling

Quanyi Li, Zhenghao Peng외 5명|arXiv (Cornell University)|2023. 06. 21.

Autonomous Vehicle Technology and Safety인용 수 19

한 줄 요약

ScenarioNet는 여러 데이터셋의 실제 운전 데이터를 하나의 통합 오픈 소스 플랫폼으로 모아 대규모 교통 시나리오 시뮬레이션 및 모델링을 가능하게 하며, 데이터 기반 시나리오 생성, 데이터셋 간 RL/IL 학습, 다중 에이전트 학습, 그리고 MetaDrive에서의 AD 스택 테스트를 지원한다.

ABSTRACT

Large-scale driving datasets such as Waymo Open Dataset and nuScenes substantially accelerate autonomous driving research, especially for perception tasks such as 3D detection and trajectory forecasting. Since the driving logs in these datasets contain HD maps and detailed object annotations which accurately reflect the real-world complexity of traffic behaviors, we can harvest a massive number of complex traffic scenarios and recreate their digital twins in simulation. Compared to the hand-crafted scenarios often used in existing simulators, data-driven scenarios collected from the real world can facilitate many research opportunities in machine learning and autonomous driving. In this work, we present ScenarioNet, an open-source platform for large-scale traffic scenario modeling and simulation. ScenarioNet defines a unified scenario description format and collects a large-scale repository of real-world traffic scenarios from the heterogeneous data in various driving datasets including Waymo, nuScenes, Lyft L5, and nuPlan datasets. These scenarios can be further replayed and interacted with in multiple views from Bird-Eye-View layout to realistic 3D rendering in MetaDrive simulator. This provides a benchmark for evaluating the safety of autonomous driving stacks in simulation before their real-world deployment. We further demonstrate the strengths of ScenarioNet on large-scale scenario generation, imitation learning, and reinforcement learning in both single-agent and multi-agent settings. Code, demo videos, and website are available at https://metadriverse.github.io/scenarionet.

연구 동기 및 목표

• 이질적인 운전 데이터를 확장 가능한 교통 시나리오로 변환하기 위한 통합 형식을 제공한다.
• 여러 데이터셋의 실제 시나리오를 모아 데이터셋 간 학습 및 평가를 가능하게 한다.
• 단일 에이전트와 다중 에이전트 설정에서 대규모 시나리오 생성, 모방 학습, 강화 학습을 가능하게 한다.
• ROS 브리지 통합을 통한 자율 주행 스택의 시뮬레이션 기반 테스트를 지원한다.

제안 방법

• 네 가지 최상위 키를 가진 통합된 중첩 딕셔너리 시나리오 설명을 정의한다.
• Waymo, nuScenes, nuPlan, L5, Argoverse의 시나리오와 절차적으로 생성된 데이터를 통일 형식으로 변환한다.
• 메타드라이브 시뮬레이터에서 2D BEV 및 3D 렌더링과 센서 시뮬레이션을 포함해 시나리오를 재생한다.
• 복사 없이 병렬화된 변환, 무결성 검사, 병합, 필터링, 분할, 샘플링 등의 데이터세트 관리 작업을 제공한다.
• 컨버터를 통해 새로운 데이터셋을 추가하고 다중 처리로 변환 규모를 확장하는 도구를 제공한다.
• 데이터 변환과 시뮬레이션 흐름으로 연결된 데이터 계층, 시스템 계층, 애플리케이션 계층으로 시스템 아키텍처를 설명한다.

Figure 1: Snapshots of three scenarios extracted from nuScenes and their corresponding interactive environments with multiple views and sensors including RGB camera, depth camera, and semantic camera. The RGB sensor can be used for end-to-end driving systems like Openpilot [ 10 ] .

실험 결과

연구 질문

• RQ1 실세계 운전 데이터셋을 시뮬레이션을 위한 확장 가능하고 상호 운용 가능한 시나리오 데이터베이스로 통합할 수 있는가?
• RQ2 모방 학습과 강화 학습에서 단일 데이터셋 학습에 비해 데이터셋 간 학습이 정책 학습을 향상시키는가?
• RQ3 ScenarioNet가 통합 시나리오를 사용해 효과적인 다중 에이전트 학습과 AD 스택 테스트를 지원할 수 있는가?
• RQ4 합성 시나리오와 실제 시나리오를 모으는 것이 정책 일반화 및 시뮬레이션-현실 간 전이성에 어떤 영향을 미치는가?

주요 결과

데이터셋	트랙 길이	차량 수	보행자 수	교차로 비율	구성 비율
Waymo	136.55( ± 95.98)	89.93( ± 64.51)	11.7( ± 22.97)	0.71	0.0
nuPlan	95.48( ± 42.32)	53.96( ± 25.35)	21.99( ± 19.9)	0.57	1.0
PG	226.07( ± 70.7)	9.81( ± 3.31)	0.0	0.36	0.39

• 통합 시나리오 설명은 Waymo, nuScenes, L5, nuPlan, Argoverse 등 여러 데이터셋에서 MetaDrive에서 재생 및 상호 작용을 가능하게 한다.
• 데이터셋 간 커리큘럼 RL 실험은 실제 데이터가 실제 데이터 테스트 세트에서 평가될 때 합성 데이터만 사용하는 경우보다 성공률을 향상시킨다.
• 합성 시나리오와 실제 시나리오를 결합하면 nuPlan-test에서 정책 성능이 더 높아지고 곡선 궤도에 대한 일반화가 더 잘 된다.
• MARL/IL 실험은 보상, 종료 조건, 평가에 대해 실제 궤적을 사용하는 것이 다중 에이전트 설정에서 효과적인 학습을 가능하게 한다.
• Openpilot은 ScenarioNet이 재구성한 실제 시나리오에서 작동할 수 있어 엔드-투-엔드 AD 스택의 실용적 테스트를 보여준다.
• 표 2와 표 3은 각각 데이터셋 통계와 다중 에이전트 학습 결과를 요약하며, 데이터셋의 트랙 길이, 차량 수, RL/IL 성능을 보여준다.

Figure 3: From bottom to top, ScenarioNet platform consists of the data layer, system layer, and application layer which are connected by two critical data flows, data conversion ( $\rightarrow$ ) and simulation ( $\rightarrow$ ) . Data conversing unifies various data formats and stores them in an i