[논문 리뷰] Graph Reinforcement Learning Application to Co-operative Decision-Making in Mixed Autonomy Traffic: Framework, Survey, and Challenges

Qi Liu, Xueyuan Li외 6명|arXiv (Cornell University)|2022. 11. 06.

Traffic control and management인용 수 7

한 줄 요약

이 논문은 혼합 자율주행 교통 환경에서 다중 에이전트 의사결정을 위한 그래프 강화학습(GRL) 프레임워크를 제안한다. 차량을 노드로, 상호작용을 간선으로 모델링하여 동적인 차량 간 관계를 포착한다. GRL은 고차원적이고 복잡한 교통 환경에서 더 효과적인 협동 행동을 가능하게 하여 딥 강화학습(DRL) 방법보다 뛰어난 성능을 발휘한다.

ABSTRACT

Proper functioning of connected and automated vehicles (CAVs) is crucial for the safety and efficiency of future intelligent transport systems. Meanwhile, transitioning to fully autonomous driving requires a long period of mixed autonomy traffic, including both CAVs and human-driven vehicles. Thus, collaboration decision-making for CAVs is essential to generate appropriate driving behaviors to enhance the safety and efficiency of mixed autonomy traffic. In recent years, deep reinforcement learning (DRL) has been widely used in solving decision-making problems. However, the existing DRL-based methods have been mainly focused on solving the decision-making of a single CAV. Using the existing DRL-based methods in mixed autonomy traffic cannot accurately represent the mutual effects of vehicles and model dynamic traffic environments. To address these shortcomings, this article proposes a graph reinforcement learning (GRL) approach for multi-agent decision-making of CAVs in mixed autonomy traffic. First, a generic and modular GRL framework is designed. Then, a systematic review of DRL and GRL methods is presented, focusing on the problems addressed in recent research. Moreover, a comparative study on different GRL methods is further proposed based on the designed framework to verify the effectiveness of GRL methods. Results show that the GRL methods can well optimize the performance of multi-agent decision-making for CAVs in mixed autonomy traffic compared to the DRL methods. Finally, challenges and future research directions are summarized. This study can provide a valuable research reference for solving the multi-agent decision-making problems of CAVs in mixed autonomy traffic and can promote the implementation of GRL-based methods into intelligent transportation systems. The source code of our work can be found at https://github.com/Jacklinkk/Graph_CAVs.

연구 동기 및 목표

• 혼합 자율주행 교통에서 다중 에이전트 상호작용을 모델링하는 데 기존 딥 강화학습(DRL) 방법의 한계를 해결한다.
• 차량 간 상호작용을 표현하고 협동적 의사결정을 최적화하기 위한 일반적이고 모듈러한 그래프 강화학습(GRL) 프레임워크를 개발한다.
• 혼합 교통 환경에서 CAV 의사결정을 위한 최근의 DRL 및 GRL 접근법을 체계적으로 검토한다.
• GRL이 DRL보다 다중 에이전트 CAV 시나리오에서 효과적인지 검증하기 위해 비교 연구를 수행한다.
• 지능형 교통 시스템에서 GRL 기반 다중 에이전트 의사결정의 핵심 과제와 향후 연구 방향을 규명한다.

제안 방법

• 모든 연결 및 자율주행 차량(CAV)을 노드로, 차량 간 상호작용을 간선으로 하는 그래프로 혼합 자율주행 교통를 모델링한다.
• 그래프 신경망(GNN)을 활용해 교통 그래프에서 공간적 및 관계적 특징을 추출하여 정책 학습에 활용한다.
• GNN 처리된 특징을 딥 Q-네트워크(DQN) 또는 유사한 정책 네트워크에 통합하여 협동 주행 행동을 생성한다.
• 다양한 GNN 아키텍처와 RL 알고리즘을 유연하게 통합할 수 있도록 모듈러한 프레임워크를 설계한다.
• 중앙 집중적 훈련과 분산 실행을 통한 다중 에이전트 강화학습 설정을 활용해 공동 정책 최적화를 이룬다.
• 재현 가능性和 커뮤니티 활용을 위해 GitHub에 프레임워크를 구현하고 오픈소스로 배포한다.

실험 결과

연구 질문

• RQ1 그래프 강화학습(GRL)은 혼합 자율주행 교통의 동적이고 다중 에이전트 상호작용을 효과적으로 모델링할 수 있는가?
• RQ2 협동적 CAV 의사결정에서 GRL과 DRL 기반 방법 간 성능의 주요 차이점은 무엇인가?
• RQ3 GRL 방법은 혼합 교통 환경에서 일반적인 고차원 상태 및 행동 공간을 어떻게 처리하는가?
• RQ4 불확실성, 통신 범위, 차량 모델링을 포함한 실제 혼합 자율주행 교통에 GRL을 적용할 때의 주요 과제는 무엇인가?
• RQ5 지역적 의사결정 효율성을 유지하면서 글로벌 조율을 지원하기 위해 GRL을 어떻게 확장할 수 있는가?

주요 결과

• GRL 방법은 혼합 자율주행 교통에서 CAV의 다중 에이전트 의사결정 최적화에 기존 DRL 기반 접근법보다 뚜렷이 뛰어난 성능을 발휘한다.
• 그래프 기반 표현은 차량 간 의존성과 동적인 교통 상호작용을 효과적으로 포착하여 더 협동적이고 안전한 주행 행동을 이끈다.
• 제안된 GRL 프레임워크는 병합 및 교차로 제어와 같은 시나리오에서 지연과 연료 소비를 감소시키며 향상된 성능을 보였다.
• 비교 연구 결과, 복잡하고 상호작용적인 교통 환경에서 GRL 기반 모델이 DRL 모델보다 더 우수한 조율 능력과 안정성을 확보함을 확인했다.
• 프레임워크는 확장성이 뛰어나 다양한 GNN 및 RL 구성 요소와의 통합을 지원하여 향후 새로운 시나리오에의 적응을 가능하게 한다.
• GitHub에 공개된 구현은 재현 가능성과 지능형 교통 시스템 분야에서의 GRL 향후 연구를 촉진한다.