[논문 리뷰] The Waymo Open Sim Agents Challenge

Nico Montali, John Lambert외 10명|arXiv (Cornell University)|2023. 05. 19.

Autonomous Vehicle Technology and Safety인용 수 9

한 줄 요약

본 논문은 Waymo Open Sim Agents Challenge(WOSAC)를 소개한다. 이는 Waymo Open Motion Dataset(WOMD) 데이터를 이용한 현실적이고 폐루프 시뮬레이션 에이전트를 평가하기 위한 평가 프레임워크와 리더보드를 갖춘 공개 벤치마크다. 또한 2023 대회의 기본선(base)과 제출작들을 분석한다.

ABSTRACT

Simulation with realistic, interactive agents represents a key task for autonomous vehicle software development. In this work, we introduce the Waymo Open Sim Agents Challenge (WOSAC). WOSAC is the first public challenge to tackle this task and propose corresponding metrics. The goal of the challenge is to stimulate the design of realistic simulators that can be used to evaluate and train a behavior model for autonomous driving. We outline our evaluation methodology, present results for a number of different baseline simulation agent methods, and analyze several submissions to the 2023 competition which ran from March 16, 2023 to May 23, 2023. The WOSAC evaluation server remains open for submissions and we discuss open problems for the task.

연구 동기 및 목표

• 자율주행 안전 검증을 위한 현실적인 교통 시뮬레이터 개발을 촉진한다.
• 자기회귀 시뮬레이션 에이전트를 평가하기 위한 평가 프레임워크와 온라인 리더보드를 제안한다.
• Waymo Open Motion Dataset(WOMD)을 활용하여 실제 세계 데이터에 기반한 평가를 수행한다.
• 재현(replay)나 간단한 휴리스틱에 의존하기보다 인간 운전 행동의 전체 분포를 포착하는 모델링을 장려한다.

제안 방법

• 주행을 세계 상태 s_t와 관측 o_t를 갖는 은닉 마르코프 모델로 공식화하고, AV 및 환경 구성요소에 초점을 맞춘다.
• factorized, autoregressive world model q^{world}(o_t|o_{<t}^c) = π(o_t^AV|o_{<t}^c) q(o_t^env|o_{<t}^c).
• 에이전트 분포하에서 기록된 데이터의 근사 음의 로그 가능도(NLL)로 분포적 현실성을 평가한다.
• 구성요소 지표(동역학, 상호작용 및 지도 기반 측정의 시계열 NLL)를 계산하고 가중치를 가진 항으로 합산하여 복합 지표를 만든다.
• 시나리오당 최대 128개의 에이전트가 포함된 9초 WOMD 시퀀스 데이터셋을 사용하고, 시나리오당 32개의 샘플에서 결과를 보고한다.

실험 결과

연구 질문

• RQ1 폐루프 자율주행 시나리오에서 시뮬레이션 에이전트의 현실성을 측정하기 위한 적절한 평가 프레임워크는 무엇인가?
• RQ2 로그 데이터로부터 가능도를 직접 추정하기 어려울 때 분포적 현실성을 어떻게 정량화할 수 있는가?
• RQ3 고정된 AV 정책에서 어떤 모델링 선택이 가장 현실적인 시뮬레이션 결과를 산출하는가?
• RQ4 기준선(base라인)과 제출 방법은 다양성 및 충돌, 차선 이탈 등의 안전 관련 지표 측면에서 어떻게 비교되는가?

주요 결과

• 학습된 확률적 시뮬레이터는 복합 NLL 지표에서 휴리스틱 기준선과 결정론적 에이전트를 능가한다.
• 다양한 미래 샘플(32개의 다양한 롤아웃)은 동일한 롤아웃보다 더 나은 복합 점수를 산출하며, 확률적 다양성에 대한 보상을 시사한다.
• 주기적 재계획이 가능한 폐루프 학습 기반 방법들(e.g., MVTA/MVTE)이 최상위 복합 점수를 달성했으며, 폐루프 학습의 이점을 강조한다.
• 최상위 방법과 기록된 오라클 간 격차가 여전히 있으며, 특히 충돌 가능성과 최근 물체까지의 거리(distance-to-nearest-object) 지표에서 차이가 커, 상호작용 현실성 향상의 여지가 있음을 시사한다.
• 대부분의 제출은 에이전트 중심의 트랜스포머 기반 아키텍처를 사용했고, 계획 기반 시뮬레이션 에이전트보다 모션 예측 기반 위에 구축되었다.