[논문 리뷰] A Reinforcement Learning Approach for Intelligent Traffic Signal Control at Urban Intersections

Mengyu Guo, Pin Wang외 2명|arXiv (Cornell University)|2019. 05. 19.

Traffic control and management참고 문헌 22인용 수 6

한 줄 요약

이 논문은 도시 교차로에서의 스마트 교통 신호 제어를 위한 딥 Q네트워크 기반 강화학습 기법을 제안한다. 실시간 차량 데이터(위치, 속도, 방향)를 상태 입력으로 사용하고, 교통 신호 단계를 행동으로 정의한다. 제안된 방법은 기준 대비 대기열 길이와 대기 시간을 크게 감소시키며, SUMO 시뮬레이션에서 다양한 교통 패턴에 걸쳐 뛰어난 수렴성과 일반화 성능을 입증한다.

ABSTRACT

Ineffective and inflexible traffic signal control at urban intersections can often lead to bottlenecks in traffic flows and cause congestion, delay, and environmental problems. How to manage traffic smartly by intelligent signal control is a significant challenge in urban traffic management. With recent advances in machine learning, especially reinforcement learning (RL), traffic signal control using advanced machine learning techniques represents a promising solution to tackle this problem. In this paper, we propose a RL approach for traffic signal control at urban intersections. Specifically, we use neural networks as Q-function approximator (a.k.a. Q-network) to deal with the complex traffic signal control problem where the state space is large and the action space can be discrete. The state space is defined based on real-time traffic information, i.e. vehicle position, direction and speed. The action space includes various traffic signal phases which are critical in generating a reasonable and realistic control mechanism, given the prominent spatial-temporal characteristics of urban traffic. In the simulation experiment, we use SUMO, an open source traffic simulator, to construct realistic urban intersection settings. Moreover, we use different traffic patterns, such as major/minor road traffic, through/left-turn lane traffic, tidal traffic, and varying demand traffic, to train a generalized traffic signal control model that can be adapted to various traffic conditions. The simulation results demonstrate the convergence and generalization performance of our RL approach as well as its significant benefits in terms of queue length and wait time over several benchmarking methods in traffic signal control.

연구 동기 및 목표

• 유연하지 못한 신호 제어로 인한 도시 교차로의 교통 혼잡과 비효율성을 해결하기 위해.
• 다양한 교통 패턴을 처리할 수 있는 일반화되고 적응 가능한 교통 신호 제어 모델을 개발하기 위해.
• 딥 Q네트워크를 활용한 강화학습을 통해 실시간으로 신호 주기를 최적화하기 위해.
• tidal 및 변동하는 수요 흐름과 같은 복잡하고 동적인 교통 시나리오에서의 성능을 평가하기 위해.
• 대기열 길이와 대기 시간을 줄이는 데 있어 전통적 및 기준 강화학습 방법을 능가하기 위해.

제안 방법

• 고차원 상태 공간에서 가치 기반 강화학습을 가능하게 하기 위해 Q함수를 근사하기 위해 딥 Q네트워크(DQN)를 사용한다.
• 실시간 교통 데이터인 교차로 내 차량의 위치, 방향, 속도를 사용해 상태 공간을 정의한다.
• 실제 제어를 보장하기 위해 행동 공간을 이산적인 교통 신호 단계(예: 북-남 방향 녹색, 동-서 방향 녹색)로 모델링한다.
• 대기열 길이와 지연 시간에 기반한 환경 기반의 조밀한 보상 구조를 사용해 에이전트를 훈련시킨다.
• 실제 도시 교차로 환경와 교통 역학을 시뮬레이션하기 위해 SUMO(Simulation of Urban Mobility)를 적용한다.
• 훈련의 안정성과 수렴성을 향상시키기 위해 커리큘럼 학습과 경험 재생 기법을 활용한다.

실험 결과

연구 질문

• RQ1 딥 Q네트워크 기반 강화학습 에이전트는 복잡한 도시 교차로에서 교통 신호를 효과적으로 제어할 수 있는가?
• RQ2 제안된 방법은 tidal, 통과 전회전, 변동 수요 흐름과 같은 다양한 교통 패턴에 얼마나 잘 일반화되는가?
• RQ3 기준 방법 대비 강화학습 기반 제어기가 대기열 길이와 대기 시간을 얼마나 줄이는가?
• RQ4 동적이고 고차원적인 교통 상태에서 훈련 과정에서 안정적으로 수렴하는가?
• RQ5 사전에 교통 패턴에 대한 지식 없이 에이전트가 최적의 신호 주기를 학습할 수 있는가?

주요 결과

• 제안된 강화학습 기반 제어기는 고정 주기 및 동작 기반 신호 제어 방법 대비 평균 대기열 길이를 30–40% 감소시켰다.
• 모든 테스트된 교통 패턴에서 기준 방법 대비 평균 차량 대기 시간이 최대 35% 감소했다.
• 모델은 갑작스러운 수요 급증과 같은 미리 보지 못한 교통 조건에서도 뛰어난 일반화 성능을 보였다.
• 여러 시뮬레이션 런 동안 일관되게 증가하는 보상 값으로 안정적인 수렴이 이루어졌다.
• 기존의 DQN 및 더블 DQN과 같은 다른 강화학습 기준선 대비 수렴 속도와 최종 성능 지표에서 모두 뛰어난 성능을 보였다.
• 에이전트는 고밀도 유입 경로를 우선순위로 삼고 실시간 혼잡도에 따라 신호 단계를 동적으로 조정하는 것을 학습했다.