[논문 리뷰] Efficient Connected and Automated Driving System with Multi-agent Graph Reinforcement Learning

Tianyu Shi, Jiawei Wang외 3명|arXiv (Cornell University)|2020. 07. 06.

Traffic control and management참고 문헌 28인용 수 8

한 줄 요약

이 논문은 혼잡한 교통 환경에서 연결형 자율주행차(CAV) 간의 협업을 향상시키기 위해 연결형 자율주행차 그래프(CAVG)를 갖춘 다중 에이전트 강화학습 프레임워크를 제안한다. 상대 속도 및 위치 정보를 기반으로 동적 상호작용을 모델링하기 위해 그래프 컬러이션 네트워크와 주의 메커니즘을 통합함으로써, MARL-CAVG 방법은 기존 최고 수준의 기준들보다 뛰어난 효율성과 안정성을 확보하며, 다양한 침투율과 목표 속도에서 차량 따라가기, 교차로, 융합 시나리오 전반에 걸쳐 슈퍼리어한 성능을 보였다.

ABSTRACT

Connected and automated vehicles (CAVs) have attracted more and more attention recently. The fast actuation time allows them having the potential to promote the efficiency and safety of the whole transportation system. Due to technical challenges, there will be a proportion of vehicles that can be equipped with automation while other vehicles are without automation. Instead of learning a reliable behavior for ego automated vehicle, we focus on how to improve the outcomes of the total transportation system by allowing each automated vehicle to learn cooperation with each other and regulate human-driven traffic flow. One of state of the art method is using reinforcement learning to learn intelligent decision making policy. However, direct reinforcement learning framework cannot improve the performance of the whole system. In this article, we demonstrate that considering the problem in multi-agent setting with shared policy can help achieve better system performance than non-shared policy in single-agent setting. Furthermore, we find that utilization of attention mechanism on interaction features can capture the interplay between each agent in order to boost cooperation. To the best of our knowledge, while previous automated driving studies mainly focus on enhancing individual's driving performance, this work serves as a starting point for research on system-level multi-agent cooperation performance using graph information sharing. We conduct extensive experiments in car-following and unsignalized intersection settings. The results demonstrate that CAVs controlled by our method can achieve the best performance against several state of the art baselines.

연구 동기 및 목표

• 혼잡한 교통 환경에서 인간 운전 차량이 존재하는 상황에서 CAV 간의 협업 행동을 가능하게 하는 도전 과제를 해결하기 위해.
• 그래프 기반 표현을 사용하여 동적 차량 간 상호작용을 모델링함으로써 시스템 전체의 교통 효율성과 안정성을 향상시키기 위해.
• 다양한 교통 밀도와 네트워크 구성에 적응할 수 있는 확장 가능하고 일반화 가능한 의사결정 프레임워크를 개발하기 위해.
• 그래프 주의 메커니즘과 동적 인접 행렬이 다중 에이전트 조율 능력을 향상시키는 데 기여하는 정도를 평가하기 위해.
• 다양한 교통 시나리오, 예를 들어 고속도로 고리형 도로, 신호등이 없는 교차로, 융합 구역 등에 걸쳐 일반화 능력을 입증하기 위해.

제안 방법

• 상대 위치와 속도 정보를 사용하여 상호차량 관계를 표현하기 위해 연결형 자율주행차 그래프(CAVG)를 구성한다.
• 상대 속도와 위치를 기반으로 상호작용 강도를 반영하는 동적 인접 행렬을 학습하며, 목표 속도와 속도 차이를 포함하는 공식을 적용한다.
• 다중 헤드 자기주도 주의 메커니즘을 갖춘 그래프 컬러이션 네트워크를 사용하여 이웃 차량의 특징을 집계함으로써 관련 에이전트에 대한 적응적 집중을 가능하게 한다.
• 공유 정책을 사용한 다중 에이전트 강화학습을 통해 정책 네트워크를 훈련시켜 에이전트 간 협업 행동 학습을 가능하게 한다.
• 안정적인 훈련을 위해 SUMO를 사용한 시뮬레이션 환경에서 모델을 평가하며, 프록시 정책 최적화(PPO)를 사용해 훈련한다.
• 주의 메커니즘은 이웃 에이전트의 관련성에 따라 가중치를 동적으로 조정함으로써 정보 흐름과 조율 능력을 향상시킨다.

실험 결과

연구 질문

• RQ1 혼잡한 자율주행 환경에서 CAV가 어떻게 효과적으로 조율되어 교통 효율성과 안정성을 향상시킬 수 있는가?
• RQ2 차량 상호작용의 그래프 기반 모델링이 다중 에이전트 협업 능력을 향상시키는 데 어떤 역할을 하는가?
• RQ3 위치, 속도 또는 둘 다의 정보 소스가 CAV 조율 프레임워크 성능에 어떤 영향을 미치는가?
• RQ4 주의 메커니즘이 관련 이웃 차량을 우선시하는 데 모델의 능력이 얼마나 향상되는가?
• RQ5 제안된 프레임워크는 다양한 교통 시나리오, 예를 들어 다양한 침투율과 목표 속도를 포함한 시나리오에 대해 일반화 가능한가?

주요 결과

• 40% 침투율과 30 km/h 목표 속도에서 고리형 도로 시나리오에서 MARL-CAVG 모델은 2710.32 ± 23.581의 리턴을 기록하며 기준 모델들을 능가했다.
• 인접 행렬에 위치와 속도 정보를 모두 사용한 경우가 가장 뛰어난 성능을 보였으며, 위치 정보만 사용한 경우(2490.99 ± 20.149)나 속도 정보만 사용한 경우(2601.87 ± 19.825)보다 뛰어났다.
• 주의 메커니즘이 성능 향상에 크게 기여했으며, 주의 기능 없이 2423.19 ± 39.193에서 8개의 주의 헤드를 사용할 경우 2624.20 ± 41.213로 향상되었다.
• 성능은 8개의 주의 헤드에서 최고로 나타났으며, 10개 이상의 헤드를 사용할 경우 성능 저하가 발생하여 표현 능력의 최적 균형이 존재함을 시사했다.
• 차량 따라가기, 비신호 교차로, 융합 영역 등 다양한 시나리오에서 뛰어난 일반화 능력을 보였다.
• 공유 정책을 사용한 다중 에이전트 훈련이 단일 에이전트 훈련보다 뚜렷이 뛰어나, CAV 시스템에서 협업 학습의 중요성을 입증했다.