[논문 리뷰] Waymax: An Accelerated, Data-Driven Simulator for Large-Scale Autonomous Driving Research

Cole Gulino, Justin Fu외 20명|arXiv (Cornell University)|2023. 10. 12.

Autonomous Vehicle Technology and Safety인용 수 22

한 줄 요약

Waymax는 실세계 데이터(Waymo Open Motion Dataset)를 기반으로 한 미분가능하고 하드웨어 가속 다중 에이전트 자율 주행 시뮬레이터로, 폐쇄형 및 개방형 루프 설정에서 플래닝 에이전트의 속도감 있는 그래프 내 학습 및 벤치마킹을 가능하게 합니다.

ABSTRACT

Simulation is an essential tool to develop and benchmark autonomous vehicle planning software in a safe and cost-effective manner. However, realistic simulation requires accurate modeling of nuanced and complex multi-agent interactive behaviors. To address these challenges, we introduce Waymax, a new data-driven simulator for autonomous driving in multi-agent scenes, designed for large-scale simulation and testing. Waymax uses publicly-released, real-world driving data (e.g., the Waymo Open Motion Dataset) to initialize or play back a diverse set of multi-agent simulated scenarios. It runs entirely on hardware accelerators such as TPUs/GPUs and supports in-graph simulation for training, making it suitable for modern large-scale, distributed machine learning workflows. To support online training and evaluation, Waymax includes several learned and hard-coded behavior models that allow for realistic interaction within simulation. To supplement Waymax, we benchmark a suite of popular imitation and reinforcement learning algorithms with ablation studies on different design decisions, where we highlight the effectiveness of routes as guidance for planning agents and the ability of RL to overfit against simulated agents.

연구 동기 및 목표

• 시뮬레이션-실제 간 격차를 최소화하면서 자율주행 계획 연구를 위한 빠르고 현실적인 시뮬레이션을 동기부여한다.
• 가속기에서의 학습을 위해 그래프 내에서 실행될 수 있는 미분 가능하고 하드웨어 가속이 가능한 다중 에이전트 시뮬레이터를 제공한다.
• 학습된 행동 모델과 하드 코딩된 행동 모델 모두를 포함한 현실적인 상호 작용 에이전트를 대상으로 온라인 학습과 평가를 가능하게 한다.
• 다양하고 실제 데이터로 초기화된 시나리오에서 모방 학습(imitation learning)과 강화학습(reinforcement learning) 계획 알고리즘을 벤치마크한다.

제안 방법

• Waymo Open Motion Dataset의 실제 주행 데이터를 사용해 다양한 다중 에이전트 시나리오를 초기화하고 재생한다.
• GPU/TPU에서 실행되고 그래프 내 학습을 지원하는 JAX로 구축된 미분 가능하고 하드웨어 가속 시뮬레이터를 구현한다.
• 경로/목표 정보와 반응형 시뮬 에이전트(IDM 등)를 갖춘 다중 에이전트 및 자아 중심 계획 환경을 제공한다.
• 델타(delta) 또는 자전거 모델(Bicycle) 동작 공간을 통해 동적 객체 역학을 정의하고 다양한 관측 함수 및 경로-온/오프-루트 경로 개념을 지원한다.
• 폐루프에서 계산되는 일련의 지표(예: 경로 진행, 비경로, 이탈, 충돌, 운동학 불가능성, 변위 오차)와 다수의 벤치마크 에이전트(전문가, BC, DQN, Wayformer)를 제공한다.

실험 결과

연구 질문

• RQ1 실세계 로그를 사용하여 확장 가능한 데이터 기반 시뮬레이터가 어떻게 현실적인 다중 에이전트 주행 상호작용을 재현할 수 있는가?
• RQ2 하드웨어 가속 미분 가능 시뮬레이션이 자율주행 계획 정책의 더 빠른 학습과 평가를 촉진할 수 있는가?
• RQ3 폐루프 설정에서 경로 조건화와 상호 작용 시뮬레이터 에이전트가 계획 성능에 미치는 영향은 무엇인가?
• RQ4 Waymax에서 반응형 시뮬레이터와 로그된 궤적을 대상으로 모방 학습과 강화 학습 벤치마크를 진행하면 벤치마크 기준선은 어떻게 되는가?

주요 결과

• Waymax는 높은 처리량을 달성하며, 배치 크기 16 이상에서 GPU상의 스텝 런타임이 3 ms 미만이고 단일 스텝 실행은 GPU에서 1000 Hz 이상까지 가능하다.
• 경로 조건화는 모방 학습에서 경로 추종을 개선하고 이탈 및 충돌 비율을 감소시킨다.
• 이산 자전거 동작으로 모방 학습은 전문가 벤치마인드와 경쟁력을 보이며, 경로 조건화된 BC는 강한 경로 준수를 보인다.
• IDM 상호작용 에이전트를 상대로 RL 에이전트를 학습시키는 것이 로그된 에이전트를 상대로 하는 것보다 덜 효과적일 수 있으며, 이는 상호작용 시뮬레이터 행동에 과적합되었음을 시사한다.
• IDM 시뮬레이터에 대한 평가가 충돌을 줄이지만, 더 쉬운 협력적 다이나믹스로 인해 RL 에이전트의 학습을 방해할 수 있다.
• Waymax는 가속기에서 그래프 내 학습을 가능하게 하여 엔드 투 엔드 차분 가능한 시뮬레이션 워크플로우를 가능하게 한다.