[논문 리뷰] A DRL-based Multiagent Cooperative Control Framework for CAV Networks: a Graphic Convolution Q Network

Jiqian Dong, Sikai Chen외 3명|arXiv (Cornell University)|2020. 10. 12.

Autonomous Vehicle Technology and Safety참고 문헌 25인용 수 39

한 줄 요약

이 논문은 협력적 센싱과 Graphic Convolution Q Network (GCQ)를 결합한 DRL 기반 프레임워크를 제안하여 다수의 CAV에 대해 안전하고 협력적인 차선 변경 결정을 생성하고 중앙집중식 RSU/클라우드 배포에 적합하다.

ABSTRACT

Connected Autonomous Vehicle (CAV) Network can be defined as a collection of CAVs operating at different locations on a multilane corridor, which provides a platform to facilitate the dissemination of operational information as well as control instructions. Cooperation is crucial in CAV operating systems since it can greatly enhance operation in terms of safety and mobility, and high-level cooperation between CAVs can be expected by jointly plan and control within CAV network. However, due to the highly dynamic and combinatory nature such as dynamic number of agents (CAVs) and exponentially growing joint action space in a multiagent driving task, achieving cooperative control is NP hard and cannot be governed by any simple rule-based methods. In addition, existing literature contains abundant information on autonomous driving's sensing technology and control logic but relatively little guidance on how to fuse the information acquired from collaborative sensing and build decision processor on top of fused information. In this paper, a novel Deep Reinforcement Learning (DRL) based approach combining Graphic Convolution Neural Network (GCN) and Deep Q Network (DQN), namely Graphic Convolution Q network (GCQ) is proposed as the information fusion module and decision processor. The proposed model can aggregate the information acquired from collaborative sensing and output safe and cooperative lane changing decisions for multiple CAVs so that individual intention can be satisfied even under a highly dynamic and partially observed mixed traffic. The proposed algorithm can be deployed on centralized control infrastructures such as road-side units (RSU) or cloud platforms to improve the CAV operation.

연구 동기 및 목표

• 동적으로 변화하는 에이전트 수와 큰 공동 행동 공간을 갖는 CAV 네트워크에서 협력 제어의 필요성을 다룬다.
• 협력 센싱 정보를 융합하여 안전하고 협력적인 기동을 가능하게 하는 의사결정 프로세서를 개발한다.
• 혼합된 부분적으로 관찰된 트래픽에서 CAV 작동을 개선하기 위해 RSU 또는 클라우드의 중앙 집중 배치를 가능하게 한다.

제안 방법

• 정보 융합 및 의사결정 모듈로서 Graphic Convolution Q 네트워크(GCQ)를 도입한다.
• 융합된 센싱 데이터를 처리하기 위해 Graphic Convolutional Neural Networks와 Deep Q-Networks를 결합한다.
• 매우 동적이고 부분적으로 관찰된 트래픽을 처리하여 협력적 차선 변경 결정을 산출한다.
• RSU 또는 클라우드 배치에 적합한 중앙집중식 제어 프레임워크를 제공한다.

실험 결과

연구 질문

• RQ1 협력 센싱 데이터가 다수의 CAV에 대해 협력적 의사결정을 지원하도록 어떻게 효과적으로 융합될 수 있는가?
• RQ2 GCQ 기반 DRL 프레임워크가 다양한 수의 에이전트와 부분적으로 관찰된 환경에 대해 확장될 수 있는가?
• RQ3 중앙 집중 제어 하의 동적 트래픽에서 어떤 차선 변경 의사결정 품질과 안전 특성을 달성할 수 있는가?

주요 결과

• GCQ는 협력 센싱으로부터 정보를 모아 안전하고 협력적인 차선 변경 결정을 산출한다.
• 이 프레임워크는 매우 동적이고 부분적으로 관찰된 트래픽 하에서도 각 개별 차량의 의도를 충족시키는 것을 목표로 한다.
• 이 접근 방식은 RSU나 클라우드 플랫폼과 같은 중앙 집중형 인프라에 배치되도록 설계되어 CAV 작동을 향상시킨다.