[논문 리뷰] Microscopic Traffic Simulation by Cooperative Multi-agent Deep Reinforcement Learning

Giulio Bacchiani, Daniele Molinari외 1명|arXiv (Cornell University)|2019. 03. 04.

Traffic control and management참고 문헌 31인용 수 11

한 줄 요약

이 논문은 시각적 관측과 구성 가능한 주행 스타일 파rameter를 사용하여 원형 교차로 통과와 같은 현실적인 운전 행동을 모델링하는 협동 다중 에이전트 강화학습 프레임워크를 제안한다. 이 방법은 비동기적 이점 액터-크리틱(A3C)을 다중 에이전트 환경로 확장하여 복잡한 동작에서 높은 성공률를 달성하며, 행동 반복과 조정 가능한 공격성 및 속도 프로파일을 통해 안정적인 학습을 보여준다.

ABSTRACT

Expert human drivers perform actions relying on traffic laws and their previous experience. While traffic laws are easily embedded into an artificial brain, modeling human complex behaviors which come from past experience is a more challenging task. One of these behaviors is the capability of communicating intentions and negotiating the right of way through driving actions, as when a driver is entering a crowded roundabout and observes other cars movements to guess the best time to merge in. In addition, each driver has its own unique driving style, which is conditioned by both its personal characteristics, such as age and quality of sight, and external factors, such as being late or in a bad mood. For these reasons, the interaction between different drivers is not trivial to simulate in a realistic manner. In this paper, this problem is addressed by developing a microscopic simulator using a Deep Reinforcement Learning Algorithm based on a combination of visual frames, representing the perception around the vehicle, and a vector of numerical parameters. In particular, the algorithm called Asynchronous Advantage Actor-Critic has been extended to a multi-agent scenario in which every agent needs to learn to interact with other similar agents. Moreover, the model includes a novel architecture such that the driving style of each vehicle is adjustable by tuning some of its input parameters, permitting to simulate drivers with different levels of aggressiveness and desired cruising speeds.

연구 동기 및 목표

• 인간과 유사한 운전자 상호작용, 특히 의도 공유 및 우선권 협상과 같은 요소를 현실적으로 모델링하는 미세구조 교통 시뮬레이터를 개발하기 위해.
• 동적 협상과 행동 적응성이 부족한 규칙 기반 시뮬레이터의 한계를 해결하기 위해.
• 학습 기반의 합성 환경을 통해 고수준 운동을 위한 자율주행 차량 모듈의 훈련을 가능하게 하기 위해.
• 공격성 및 희망 속도와 같은 개인화된 주행 스타일을 조정 가능한 입력 파rameter를 통해 통합하기 위해.
• 행동 반복을 통한 다중 인스턴스 훈련이 학습 안정성과 성능 향상에 미치는 영향을 평가하기 위해.

제안 방법

• 각 차량이 독립적이지만 협동적인 에이전트로 작동하는 다중 에이전트 환경에 비동기적 이점 액터-크리틱(A3C) 알고리즘을 확장한다.
• 시각적 프레임(환경의 의미적 세분화)과 수치적 상태 벡터(예: 속도, 거리)를 조합한 하이브리드 관측 입력을 사용한다.
• 스칼라 파rameter를 통한 주행 스타일 조정이 가능한 새로운 아키텍처를 도입하여 다양한 운전 행동을 시뮬레이션할 수 있도록 한다.
• 다중 인스턴스 환경에서의 학습 안정성을 높이기 위해 행동 반복을 적용한다.
• 밀도 높은 교통 상황에서의 원형 교차로 환경에서 훈련을 수행하며, 작업 완료(예: 성공적인 병합) 기반의 희박한 보상 체계를 사용한다.
• 다양한 환경 인스턴스를 비동기적으로 훈련시켜 학습 속도를 가속화하면서도 정책 안정성을 유지한다.

실험 결과

연구 질문

• RQ1 다중 에이전트 강화학습 프레임워크가 복잡한 교통 상황에서 우선권 협상과 같은 협동 운전 행동을 효과적으로 시뮬레이션할 수 있는가?
• RQ2 행동 반복은 다중 에이전트 DRL을 통한 교통 시뮬레이션에서 학습 안정성과 성능에 어떤 영향을 미치는가?
• RQ3 공격성, 속도와 같은 주행 스타일의 다양성은 입력 파ram터 조정을 통해 어느 정도 모델링되고 제어될 수 있는가?
• RQ4 수렴성과 성능 측면에서 다중 인스턴스 훈련은 단일 인스턴스 훈련보다 어떻게 비교되는가?
• RQ5 경우에 따라 하드코딩된 규칙 없이도 차량이 협상이 필요한 상황에서 실제 인간 행동을 모방할 수 있는가?

주요 결과

• 다중 에이전트 A3C 프레임워크는 붐비는 원형 교차로에 병합하는 복잡한 동작을 고성공률로 학습한다.
• 행동 반복은 특히 다중 인스턴스 환경에서 학습 안정성을 크게 향상시키며, 수렴 속도 향상과 성능 향상에 기여한다.
• 안전 운전 행동이 강제된 경우, 충돌이 완전히 제거되지는 않지만 성공 비율이 거의 최적에 가까운 수준(1.0에 가까움)에 도달한다.
• 행동 반복 없이 다중 인스턴스 훈련을 수행할 경우 수렴하지 못하므로, 이 설정에서 행동 반복은 안정성 확보에 필수적임을 확인했다.
• 주행 스타일을 위한 스칼라 파ram터를 포함시킴으로써 에이전트 행동을 효과적으로 제어할 수 있으며, 다양한 주행 성향을 시뮬레이션할 수 있다.
• 시뮬레이터는 충돌이 가끔 발생하는 비협동적 행동 패tern을 보이며, 이는 고수준 자율성 모듈의 훈련에 대한 강건성을 향상시킨다.