[논문 리뷰] A Traffic Light Dynamic Control Algorithm with Deep Reinforcement Learning Based on GNN Prediction

Xiaorong Hu, Chenguang Zhao외 1명|arXiv (Cornell University)|2020. 09. 29.

Traffic Prediction and Management Techniques참고 문헌 20인용 수 11

한 줄 요약

이 논문은 다중 교차로 도시 네트워크에서 혼잡을 줄이기 위해 그래프 신경망(GNN) 기반의 교통 흐름 예측과 동적 교통 신호 제어를 통합한 딥 강화학습 알고리즘인 GPlight를 제안한다. 단기 교통 상태를 예측하고 예측값과 실시간 데이터를 모두 활용해 녹색 신호 단계와 지속 시간을 최적화함으로써, GPlight는 네트워크 처리량을 향상시키고 지연을 감소시킨다. 이는 杭州와 뉴욕에서 확보한 합성 및 실세계 데이터셋을 통해 검증되었다.

ABSTRACT

Today's intelligent traffic light control system is based on the current road traffic conditions for traffic regulation. However, these approaches cannot exploit the future traffic information in advance. In this paper, we propose GPlight, a deep reinforcement learning (DRL) algorithm integrated with graph neural network (GNN) , to relieve the traffic congestion for multi-intersection intelligent traffic control system. In GPlight, the graph neural network (GNN) is first used to predict the future short-term traffic flow at the intersections. Then, the results of traffic flow prediction are used in traffic light control, and the agent combines the predicted results with the observed current traffic conditions to dynamically control the phase and duration of the traffic lights at the intersection. Experiments on both synthetic and two real-world data-sets of Hangzhou and New-York verify the effectiveness and rationality of the GPlight algorithm.

연구 동기 및 목표

• 현재 교통 상태에만 의존하는 전통적 교통 신호 제어 시스템의 한계를 해결하기 위해 향후 혼잡 위험을 고려하지 못하는 점을 해결한다.
• 예측 제어를 통해 향후 혼잡을 사전에 완화함으로써 도시 교통 효율성을 향상시킨다.
• 복잡한 도로 네트워크 구조를 모델링하고 단기 교통 흐름을 예측하기 위해 그래프 신경망(GNN)을 통합한다.
• 실시간 관측치와 예측된 교통 데이터를 조합해 녹색 신호 단계와 지속 시간을 최적화하는 동적 교통 신호 제어 전략을 개발한다.
• Hangzhou와 뉴욕에서 확보한 합성 및 실세계 교통 데이터셋을 통해 제안된 방법의 유효성을 입증한다.

제안 방법

• 도로 네트워크의 공간적 및 구조적 관계를 모델링하기 위해 그래프 신경망(GNN)을 사용하여 교차로 간의 교통 흐름 패턴을 캡처한다.
• 역사적 교통 데이터를 기반으로 GNN을 훈련시켜 각 교차로에서의 향후 단기 교통량을 예측한다.
• 예측된 교통 흐름과 실시간 교통 관측치를 융합하여 강화학습을 위한 종합적인 상태 표현을 구성한다.
• 딥 Q 네트워크(DQN) 강화학습을 적용하여 통합된 상태에 기반해 최적의 교통 신호 단계와 지속 시간을 동적으로 선택한다.
• 차량 지연 감소와 네트워크 처리량 증가를 장려하는 보상 함수를 설계한다.
• 예측된 차량 수에 따라 녹색 신호 지속 시간을 최적화하며, 예상 교통량이 높은 방향을 우선순위로 지정해 백로그를 방지한다.

실험 결과

연구 질문

• RQ1 현재 상태만을 고려하는 반응형 방법과 비교해 향후 교통 흐름 예측을 교통 신호 제어에 통합함으로써 도시 교통 효율성이 향상되는가?
• RQ2 GNN 기반 접근법이 단기 예측을 위해 도시 교통 네트워크의 시공간적 종속성을 얼마나 잘 포착하는가?
• RQ3 예측된 데이터와 실시간 데이터를 융합함으로써 다중 교차로 교통 제어에서 딥 강화학습의 성능이 얼마나 향상되는가?
• RQ4 실세계 교통 데이터 기반으로 GPlight 알고리즘은 기준 방법 대비 처리량 향상과 지연 감소 측면에서 어떻게 성과를 내는가?
• RQ5 예측 지연이 제어 성능에 미치는 영향은 무엇이며, 역사적 데이터를 통해 이러한 지연을 어떻게 완화할 수 있는가?

주요 결과

• GPlight는 단지 현재 교통 상태에 의존하는 기준 강화학습 방법에 비해 네트워크 처리량을 크게 향상시키고 평균 차량 지연을 감소시킨다.
• GNN 기반 교통 예측 모델은 향후 교통 흐름의 일반적 추세를 잘 포착하지만, 급격한 교통 증가에 대응하는 데 다소 지연이 발생하는 것으로 나타났다 — 예를 들어 수동적인 흐름 유입 후 약 200초 정도의 예측 지연가 존재한다.
• 알고리즘은 유입 교통량이 많은 방향(예: 杭州의 'WE' 및 뉴욕의 'NS')에 대해 녹색 신호 지속 시간을 자동으로 증가시키며, 이는 처리량 향상과 백로그 감소와 밀접한 관련이 있다.
• 중대한 교통 유입이 예상되기 이전에 GPlight는 덜 혼잡한 방향에 대해 녹색 신호 시간을 우선 배정하여 기존 차량을 먼저 처리함으로써 불필요한 대기 시간을 방지하고 성능 격차를 최소화한다.
• 모델의 예측 정확도는 역사적 데이터가 많을수록 향상되며, 이는 이전 일주일 또는 수주 전의 데이터를 활용하면 정점 교통에 대한 반응성이 향상되고 예측 지연이 감소함을 의미한다.
• 합성 및 실세계 데이터셋(杭州 및 뉴욕)을 대상으로 한 실험을 통해 알고리즘의 강건성과 다양한 도시 교통 패턴에 대한 일반화 능력이 확인되었다.