[논문 리뷰] Graph Convolution-Based Deep Reinforcement Learning for Multi-Agent Decision-Making in Mixed Traffic Environments

Qi Liu, Zirui Li외 3명|arXiv (Cornell University)|2022. 01. 30.

Traffic control and management인용 수 5

한 줄 요약

이 논문은 혼합 교통 환경에서 다중 에이전트 의사결정을 위한 그래프 컬러션 기반 딥 강화학습(GRL) 프레임워크를 제안한다. 이는 차량 간 상호작용을 모델링하기 위해 그래프 신경망(GNN)을 사용하고, 협동적인 차선 변경 결정을 향상시키기 위해 딥 Q네트워크(DQN) 변종을 통합한다. 결과적으로 GNN 통합이 의사결정 정확도를 크게 향상시키며, 듀얼링-더블 DQN(D3QN)이 고속도로 합류 시나리오에서 평균 보상 3346.74를 기록하여 가장 높은 성능을 보였다.

ABSTRACT

An efficient and reliable multi-agent decision-making system is highly demanded for the safe and efficient operation of connected autonomous vehicles in intelligent transportation systems. Current researches mainly focus on the Deep Reinforcement Learning (DRL) methods. However, utilizing DRL methods in interactive traffic scenarios is hard to represent the mutual effects between different vehicles and model the dynamic traffic environments due to the lack of interactive information in the representation of the environments, which results in low accuracy of cooperative decisions generation. To tackle these difficulties, this research proposes a framework to enable different Graph Reinforcement Learning (GRL) methods for decision-making, and compares their performance in interactive driving scenarios. GRL methods combinate the Graph Neural Network (GNN) and DRL to achieve the better decisions generation in interactive scenarios of autonomous vehicles, where the features of interactive scenarios are extracted by the GNN, and cooperative behaviors are generated by DRL framework. Several GRL approaches are summarized and implemented in the proposed framework. To evaluate the performance of the proposed GRL methods, an interactive driving scenarios on highway with two ramps is constructed, and simulated experiment in the SUMO platform is carried out to evaluate the performance of different GRL approaches. Finally, results are analyzed in multiple perspectives and dimensions to compare the characteristic of different GRL approaches in intelligent transportation scenarios. Results show that the implementation of GNN can well represents the interaction between vehicles, and the combination of GNN and DRL is able to improve the performance of the generation of lane-change behaviors. The source code of our work can be found at https://github.com/Jacklinkk/TorchGRL.

연구 동기 및 목표

• 기존의 DRL 방법이 차량 간 상호작용을 충분히 표현하지 못해 동적인 상호작용 교통 환경을 모델링하는 데에 한계가 있음에 대비하여 이를 해결하고자 한다.
• 지능형 교통 시스템에서 GRL 방법을 평가하기 위한 모듈러하고 일반화 가능한 프레임워크를 개발하고자 한다.
• 실제 고속도로 합류 시나리오에서 다양한 GRL 알고리즘—DQN, 더블 DQN, 듀얼링 DQN, 듀얼링-더블 DQN—의 성능을 비교하고자 한다.
• 그래프 표현이 차량 간 상호작용 역학을 포착함으로써 협동적 의사결정을 향상시킨다는 것을 검증하고자 한다.
• 교통 시뮬레이션 환경에서 GRL 방법을 벤치마킹하기 위한 오픈소스 구현을 제공하고자 한다.

제안 방법

• SUMO를 사용해 두 개의 램프 출구를 포함한 3차선 고속도로 시나리오를 구축하여 혼합 교통 및 상호작용 운전 조건을 시뮬레이션한다.
• 평가를 위해 교통 시나리오 생성, GRL 알고리즘 모듈, 시뮬레이션을 통합한 모듈러 프레임워크를 사용한다.
• 노드 특성 행렬과 인접 행렬을 통해 차량 특성과 에이전트 간 관계를 그래프 신경망(GNN)을 통해 인코딩한다.
• GRL 프레임워크 내의 정책 학습 구성 요소로 DQN 기반 알고리즘 네 가지—DQN, 더블 DQN, 듀얼링 DQN, 듀얼링-더블 DQN(D3QN)—을 적용한다.
• GNN 모듈의 학습 안정성을 향상시키기 위해 RL-필터를 사용해 입력 표현을 정제한다.
• 성공적인 차선 변경과 충돌 회피 기반 희박 보상에 기반한 강화학습을 사용해 모델을 훈련하고 평가한다.

실험 결과

연구 질문

• RQ1 그래프 컬러션 네트워크를 통합함으로써 다중 에이전트 의사결정에서 차량 간 상호작용의 표현이 어떻게 향상되는가?
• RQ2 복잡한 교통 환경에서 다양한 DQN 변종(DQN, 더블 DQN, 듀얼링 DQN, D3QN)의 보상, 손실, Q값 추정 성능은 어떻게 다른가?
• RQ3 GNN-DRL 프레임워크는 규칙 기반 또는 비상호작용 DRL 방법에 비해 협동적 차선 변경 행동 생성에 얼마나 향상되는가?
• RQ4 상호작용 환경에서 다양한 GRL 알고리즘의 훈련 중 수렴 행동과 안정성은 어떻게 다른가?
• RQ5 제안된 모듈러 프레임워크는 지능형 교통 응용 분야에서 다양한 GRL 알고리즘의 비교 및 검증을 효과적으로 지원할 수 있는가?

주요 결과

• GNN 통합은 차량 간 상호작용의 모델링을 크게 향상시켜 동적인 교통 환경에서 더 정확하고 협동적인 의사결정을 가능하게 했다.
• D3QN은 평균 테스트 보상 3346.74를 기록하여 더블 DQN(3283.57), 듀얼링 DQN(3295.97), DQN(3246.10)을 모두 앞서며 최고의 정책 최적화 성능을 보였다.
• 듀얼링 DQN과 D3QN은 표준 DQN과 더블 DQN에 비해 평균 손실이 낮고 수렴 속도가 더 빨라 학습 안정성이 향상됨을 보였다.
• DQN의 평균 Q값 곡선은 최대값 연산자로 인해 과도하게 추정된 반면, 더블 DQN과 D3QN은 더 매끄럽고 신뢰할 수 있는 Q값 추정을 보였다.
• 모든 GRL 방법이 누적 보상 측면에서 규칙 기반 베이스라인을 능가했으며, 이는 GNN-DRL이 상호작용 환경에서 효과적임을 확인시켰다.
• 모든 GRL 알고리즘에서 탐색 단계 이후 손실 및 보상 곡선이 안정적으로 수렴함으로써 강력한 학습 역학을 보였다.