[논문 리뷰] Emergent Road Rules In Multi-Agent Driving Environments

Avik Pal, Jonah Philion외 2명|arXiv (Cornell University)|2020. 11. 21.

Traffic control and management참고 문헌 39인용 수 8

한 줄 요약

이 논문은 다중 에이전트 강화학습 환경에서 에이전트가 소음이 있는 인지 능력과 높은 공간 밀도를 가진 조건에서 빠르게 목적지에 도착하도록 훈련될 때, 차선 유지, 신호등 준수, 안전 거리 확보와 같은 도로 규칙이 자발적으로 나타남을 보여준다. 핵심 발견은 인지 소음과 에이전트 밀도가 사회적 주행 행동의 자발적 기원에 결정적인 역할을 한다는 것이며, 이는 자율주행차에 교통 규칙를 수동으로 코딩하는 데 대체 가능한 스케일러블한 접근법을 제공한다.

ABSTRACT

For autonomous vehicles to safely share the road with human drivers, autonomous vehicles must abide by specific "road rules" that human drivers have agreed to follow. "Road rules" include rules that drivers are required to follow by law -- such as the requirement that vehicles stop at red lights -- as well as more subtle social rules -- such as the implicit designation of fast lanes on the highway. In this paper, we provide empirical evidence that suggests that -- instead of hard-coding road rules into self-driving algorithms -- a scalable alternative may be to design multi-agent environments in which road rules emerge as optimal solutions to the problem of maximizing traffic flow. We analyze what ingredients in driving environments cause the emergence of these road rules and find that two crucial factors are noisy perception and agents' spatial density. We provide qualitative and quantitative evidence of the emergence of seven social driving behaviors, ranging from obeying traffic signals to following lanes, all of which emerge from training agents to drive quickly to destinations without colliding. Our results add empirical support for the social road rules that countries worldwide have agreed on for safe, efficient driving.

연구 동기 및 목표

• 차선 사용 및 신호등 준수와 같은 사회적 주행 규칙이 명시적으로 프로그래밍되지 않은 채 강화학습에서 자발적으로 기원할 수 있는지 조사하기.
• 다중 에이전트 강화학습에서 인간 유사 주행 행동의 기원을 가능하게 하는 환경적 및 설계적 요인을 규명하기.
• 현실적인 제약 조건을 가진 최소한의 MDP에서 훈련함으로써 자율주행차에 도로 규칙를 수동으로 코딩하는 데 대체 가능한 스케일러블한 방법을 제공하기.
• nuScenes 데이터셋을 사용하여 자발적으로 기원한 행동이 실제 주행 통계와 일치하는지 검증하기.

제안 방법

• 에이전트는 속도 및 충돌 회피를 위해 보상 함수를 형상화한 Proximal Policy Optimization (PPO)를 사용하여 다중 에이전트 강화학습(MARL) 환경에서 훈련된다.
• 에이전트는 희박하고 소음이 있는 LiDAR 센서를 장착하여 실제 센서 제약 조건을 모의한다.
• 환경는 인지 소음과 공간 밀도를 핵심 변수로 설정하여 이들이 규칙 기원에 미치는 영향을 테스트한다.
• 대규모 지도에서의 훈련 효율성을 향상시키기 위해 커리큘럼 기반 접근법을 탐색한다.
• 초기 행동을 제약하고 조기 차선 변경을 방지하기 위해 스플라인 기반 서브정책을 사용한다. 이는 안정적인 학습을 보장한다.
• 모델은 nuScenes 데이터셋의 합성 및 실제 교차로에서 평가되며, 안전 거리 및 도로 규칙 준수의 정량적 분석을 수행한다.

실험 결과

연구 질문

• RQ1 다중 에이전트 주행 시뮬레이터에서 어떤 환경 설계 선택이 사회적 주행 규칙의 기원을 이끌어내는가?
• RQ2 인지 소음과 에이전트 공간 밀도는 차선 질서와 신호등 준수의 기원에 어떤 영향을 미치는가?
• RQ3 강화학습으로 훈련된 에이전트가 실제 인간 주행 행동, 예를 들어 안전 거리 유지와 같은 행동을 어느 정도 재현하는가?
• RQ4 명시적인 보상 형상화 없이도 다중 에이전트 강화학습 환경에서 자발적으로 기원한 행동이 기존의 도로 규칙을 일치하거나 근사할 수 있는가?
• RQ5 안전 거리 기준 준수 측면에서 강화학습 에이전트의 성능은 인간 운전자와 비교해 어떻게 되는가?

주요 결과

• 제안된 MDP에서 훈련된 에이전트는 안전 거리 유지에 대해 98.45%의 준수율을 보이며, 인간 주행 패턴과 매우 유사하다.
• 신호등 준수 및 차선 질서의 기원은 명시적인 보상 형상화가 아닌, 인지 소음과 높은 공간 밀도의 직접적 결과로 관찰된다.
• 에이전트는 보행자와의 거리를 95%의 비율로 안전한 거리 이상 유지하며, 대부분의 경우 계산된 안전 정지 거리 $\frac{v^2}{2a_{\text{max}}}$를 초과한다.
• 인간 운전자(99.56%)에 비해 약간 낮은 준수율(98.45%)을 보였지만, 대부분의 궤적에서 안전 거리를 유지함을 확인했다.
• 스플라인 기반 서브정책의 사용은 조기 차선 변경을 방지하여 체계적인 주행 행동의 안정적 기원을 가능하게 했다.
• 결과적으로 인지 소음과 공간 밀도는 자율주행 시스템에서 스케일러블하고 인간 유사 도로 규칙이 기원하는 데 핵심 요소임을 시사한다.