[논문 리뷰] STMARL: A Spatio-Temporal Multi-Agent Reinforcement Learning Approach for Cooperative Traffic Light Control

Yanan Wang, Tong Xu외 4명|arXiv (Cornell University)|2019. 08. 28.

Traffic control and management참고 문헌 66인용 수 11

한 줄 요약

이 논문은 도로망의 방향성 있는 신호등 인접성 그래프를 통해 공간적 종속성을 모델링하고 순환 신경망을 사용하여 시간적 종속성을 처리하는 스파티오-temporal 다중 에이전트 강화학습 프레임워크인 STMARL을 제안한다. 그래프 신경망과 딥 Q-학습을 통합함으로써 교차로 간 분산형이고 조율된 의사결정을 가능하게 하여, 합성 및 실세계 평가에서 평균 지연 시간과 대기열 길이를 크게 감소시켰으며, 허페이 데이터셋에서 평균 지연 시간이 174.47초로 이전 방법들을 능가했다.

ABSTRACT

The development of intelligent traffic light control systems is essential for smart transportation management. While some efforts have been made to optimize the use of individual traffic lights in an isolated way, related studies have largely ignored the fact that the use of multi-intersection traffic lights is spatially influenced and there is a temporal dependency of historical traffic status for current traffic light control. To that end, in this paper, we propose a novel SpatioTemporal Multi-Agent Reinforcement Learning (STMARL) framework for effectively capturing the spatio-temporal dependency of multiple related traffic lights and control these traffic lights in a coordinating way. Specifically, we first construct the traffic light adjacency graph based on the spatial structure among traffic lights. Then, historical traffic records will be integrated with current traffic status via Recurrent Neural Network structure. Moreover, based on the temporally-dependent traffic information, we design a Graph Neural Network based model to represent relationships among multiple traffic lights, and the decision for each traffic light will be made in a distributed way by the deep Q-learning method. Finally, the experimental results on both synthetic and real-world data have demonstrated the effectiveness of our STMARL framework, which also provides an insightful understanding of the influence mechanism among multi-intersection traffic lights.

연구 동기 및 목표

• 다중 교차로 도시 교통에서 공간적 및 시간적 종속성을 忽시하는 고립된 신호등 제어 방식의 한계를 해결하기 위해.
• 도로망 구조에 기반한 방향성 있는 인접성 그래프를 사용하여 신호등 간 상호 영향을 모델링하기 위해.
• 순환 신경망을 통해 역동적 교통 패턴을 실시간 의사결정에 통합하여 시간적 종속성을 모델링하기 위해.
• 그래프 신경망과 딥 Q-학습을 활용하여 다수의 신호등 간 분산형이고 조율된 제어를 가능하게 하기 위해.
• 합성 및 실세계 교통 시나리오에서 혼잡 감소와 교통 흐름 향상 효과를 평가하기 위해.

제안 방법

• 도로망의 공간적 구조를 기반으로 방향성 있는 신호등 인접성 그래프를 구성하여 교차로 간 공간적 관계를 표현하기 위해.
• 현재 상태와 역동적 교통 데이터를 순환 신경망(RNN)을 통해 통합하여 교통 흐름의 시간적 종속성을 포착하기 위해.
• 신호등 간 협업 관계를 모델링하기 위해 그래프 신경망(GNN)을 활용하여 인접성 그래프를 따라 메시지 전달을 수행하기 위해.
• 각 신호등에서 분산형 의사결정을 위해 딥 Q-학습을 사용하며, GNN 처리된 스파티오-temporal 상태 표현 기반으로 행동 선택을 수행하기 위해.
• 평균 지연 시간과 대기열 길이를 최소화하는 다중 에이전트 강화학습 목적함수를 사용하여 엔드 투 엔드 프레임워크를 훈련하기 위해.
• GNN 내의 어텐션 메커니즘을 활용하여 실시간 교통량에 기반해 이웃 교차로의 영향을 동적으로 가중치를 조정하기 위해.

실험 결과

연구 질문

• RQ1 다중 신호등 간 스파티오-temporal 종속성을 다중 에이전트 강화학습 프레임워크에서 효과적으로 모델링할 수 있는가?
• RQ2 역동적 교통 패턴을 통합함으로써 신호등 제어 정책의 성능 향상 정도는 어느 정도인가?
• RQ3 신호등 인접성의 그래프 기반 표현이 다수의 교차로에서의 협업 향상과 혼잡 감소에 기여하는가?
• RQ4 기존 방법들과 비교할 때 제안된 STMARL 프레임워크는 지연 시간, 대기열 길이, 녹색파동 발생 측면에서 어떤 성능을 보이는가?
• RQ5 GNN 내의 어텐션 메커니즘이 이웃 교차로의 동적 영향에 대해 어떤 통찰을 제공하는가?

주요 결과

• STMARL는 허페이 실세계 데이터셋에서 평균 지연 시간 36.10초를 기록하여 Colight(273.92초)와 GCN-inter(62.74초)를 크게 앞서며 최저 수준을 기록했다.
• 모델은 평균 대기열 길이를 26.14대로 줄였으며, Colight의 194.84대 및 GCN-inter의 35.88대에 비해 뛰어난 혼잡 완화 성능을 보였다.
• GNN 내 어テン션 가중치는 실시간 교통량과 동적으로 일치하여 차량 수가 많은 유입 흐름 쪽으로 더 높은 어텐션을 기울였으며, 적응형 협업을 나타냈다.
• 남북 방향으로 연속된 녹색 파동이 관찰되어 다중 교차로 간 효과적인 신호등 간 협업이 이루어졌음을 입증했다.
• 녹색파동은 개별 교차로에서 차량 축적의 피크를 감소시키고 도로를 따라 더 부드럽고 신속한 교통 흐름을 가능케 했다.
• 정성적 분석을 통해 신호등 에이전트가 하류 교통 조건을 기반으로 위상 제어를 조율하고 있으며, 특히 고밀도 교통 영향을 받는 이웃 교차로의 영향을 크게 받는다는 것이 확인되었다.