[논문 리뷰] Nocturne: a scalable driving benchmark for bringing multi-agent learning one step closer to the real world

Eugene Vinitsky, Nathan Lichtlé외 3명|arXiv (Cornell University)|2022. 06. 20.

Reinforcement Learning in Robotics인용 수 9

한 줄 요약

Nocturne는 인간과 유사한 부분 관찰 조건 하에서 확장 가능한 다중 에이전트 강화학습 및 이중학습을 가능하게 하는 고속 2차원 주행 시뮬레이터를 소개한다. 이는 카메라 렌더링 대신 효율적인 C++ 기반의 가시성 계산을 사용한다. 이 연구는 현재의 강화학습 및 이중학습 에이전트가 특히 교차로나 합류 구간과 같은 고상호작용 상황에서 인간 수준의 협업 능력을 아직 충족하지 못하고 있음을 보여주며, 목표 달성 및 충돌 회피 측면에서 뚜렷한 성능 격차를 보인다.

ABSTRACT

We introduce Nocturne, a new 2D driving simulator for investigating multi-agent coordination under partial observability. The focus of Nocturne is to enable research into inference and theory of mind in real-world multi-agent settings without the computational overhead of computer vision and feature extraction from images. Agents in this simulator only observe an obstructed view of the scene, mimicking human visual sensing constraints. Unlike existing benchmarks that are bottlenecked by rendering human-like observations directly using a camera input, Nocturne uses efficient intersection methods to compute a vectorized set of visible features in a C++ back-end, allowing the simulator to run at over 2000 steps-per-second. Using open-source trajectory and map data, we construct a simulator to load and replay arbitrary trajectories and scenes from real-world driving data. Using this environment, we benchmark reinforcement-learning and imitation-learning agents and demonstrate that the agents are quite far from human-level coordination ability and deviate significantly from the expert trajectories.

연구 동기 및 목표

• 부분 관찰 조건 하에서 인간의 시각 제약을 모방하는 확장 가능하고 고속의 시뮬레이터를 개발하여 다중 에이전트 협업을 연구하는 것.
• 이미지 기반 관찰의 계산 부담 없이도 복잡한 실제 주행 환경에서 강화학습 및 이중학습 에이전트의 효율적 훈련 및 평가를 가능하게 하는 것.
• 교차로, 원형 교차로, 주차장과 같은 다양한 데이터 기반 환경에서 학습 기반 에이전트의 성능을 전문가 인간의 경로와 비교하여 벤치마크화하는 것.
• 특히 고상호작용 상황에서의 탈중앙화된, 혼합 동기의 협업 도전 과제를 조사하는 것.
• 실제 주행 경로 데이터를 포함한 공개 벤치마크를 제공하여 다중 에이전트 주행 분야의 재현 가능한 연구를 지원하는 것.

제안 방법

• 시뮬레이터의 백엔드는 효율적인 기하학적 교차 계산 방법을 사용하여 각 에이전트의 가시 물체 및 도로 특징을 계산하며, 카메라 렌더링을 회피하여 1초당 2000단계 이상의 속도를 달성한다.
• 선형 시야 가시성 기반의 벡터화된 에이전트 중심 관측치를 생성하며, 눈을 돌려 보지 못하는 영역을 시뮬레이션하기 위해 머리 기울임을 포함하여 인간의 시각 인지 방식을 모방한다.
• 환경는 오픈소스 Waymo Motion 데이터셋의 경로와 지도를 기반으로 구축되어 실제 장면 재생 및 전문가 시연 가능.
• 에이전트는 이중학습 및 강화학습 베이스라인을 사용하여 훈련되며, 목표 달성률(최종 위치 정확도)과 충돌률을 평가 지표로 사용.
• 전문가 데이터에서 에이전트 간 경로 교차 수를 상호작용 복잡도의 Proxy로 정의하여 정책 실패 유형 분석에 활용.
• 에이전트 수 조절이 유연하게 가능하며, 즉시 사용 가능한 평가 도구와 베이스라인 구현 포함.

실험 결과

연구 질문

• RQ1 딥 강화학습 및 이중학습 에이전트는 복잡한 부분 관찰 조건 하에서 다중 에이전트 주행 상황에서 인간 수준의 협업을 달성할 수 있는가?
• RQ2 에이전트 간 상호작용 수(예: 합류, 4면 정류장 정지)가 증가할수록 목표 달성 및 충돌 회피 측면에서 학습된 정책의 성능은 어떻게 영향을 받는가?
• RQ3 현재의 학습 기반 에이전트는 고속도로, 원형 교차로, 주차장과 같은 다양한 실제 주행 환경에 얼마나 잘 일반화되는가?
• RQ4 이 벤치마크에서 제로샷 협업 문제는 존재하는가, 아니면 정책의 일관성 부족이 아니라 협업 능력 부족으로 인해 실패하는가?
• RQ5 Nocturne를 사용하여 목표를 달성하는 것 외에도 인간의 경로와 행동 패턴을 밀도 있게 모방하는 에이전트를 훈련시킬 수 있는가?

주요 결과

• 이중학습 및 강화학습으로 훈련된 에이전트는 특히 교차로나 합류 구간과 같은 고상호작용 장면에서 인간 성능에 비해 목표 달성률이 뚜렷이 낮다.
• 전문가 경로에서의 상호작용 수가 증가할수록 충돌률이 급격히 증가하여 복잡성 하에서의 협업이 여전히 현재 에이전트의 주요 과제임을 시사한다.
• 1000개의 경로 파일을 사용한 훈련에도 불구하고 이격 오차(L2 거리 전문가)는 더 이상 향상되지 않아 데이터 효율성이 제한 요소임을 시사한다.
• 실패 유형은 주로 대기, 양보 또는 합류가 필요한 상황에서의 나쁜 협업으로 인한 것이며, 주행 또는 제어 오류가 아닌 것으로 나타났다.
• 제로샷 협업 문제의 증거는 없었으며, 이는 에이전트가 정책 일관성 문제보다 협업 능력 부족으로 인해 실패함을 시사한다.
• 이 시뮬레이터를 통해 1초당 2000단계 이상의 속도를 달성하여 수십억 개의 환경 상호작용을 기반으로 한 다중 에이전트 학습의 확장 가능성을 실현할 수 있었다.