[논문 리뷰] Adaptive Traffic Signal Control with Deep Reinforcement Learning An Exploratory Investigation

Matthew Muresan, Liping Fu외 1명|arXiv (Cornell University)|2019. 01. 04.

Traffic control and management참고 문헌 14인용 수 15

한 줄 요약

이 논문은 시간대, 요일, 신호 주기, 대기열 길이를 포함하는 새로운 상태 공간을 사용하여 신호 주기를 최적화하는 딥 강화학습(DRL) 기반 교통 신호 제어 모델을 제안한다. 9주간의 시뮬레이션에서 평균 지연을 반정도 감소시켜 반동작 제어 대비 32%, 고정시간 제어 대비 37% 감소시켰으며, 이는 DRL이 적응형 교통 관리에 매우 큰 잠재력을 지닌다는 것을 보여준다.

ABSTRACT

This paper presents the results of a new deep learning model for traffic signal control. In this model, a novel state space approach is proposed to capture the main attributes of the control environment and the underlying temporal traffic movement patterns, including time of day, day of the week, signal status, and queue lengths. The performance of the model was examined over nine weeks of simulated data on a single intersection and compared to a semi-actuated and fixed time traffic controller. The simulation analysis shows an average delay reductions of 32% when compared to actuated control and 37% when compared to fixed time control. The results highlight the potential for deep reinforcement learning as a signal control optimization method.

연구 동기 및 목표

• 실시간 교통 조건에 동적으로 반응하는 적응형 교통 신호 제어를 위한 딥 강화학습 프레임워크를 개발하는 것.
• 교차로에서의 시간 패턴과 대기열 역학을 포괄하는 포괄적인 상태 공간 표현을 설계하는 것.
• 실제 시뮬레이션 환경에서 기존의 고정시간 및 반동작 신호 제어 전략과 비교하여 DRL 모델의 성능을 평가하는 것.
• 딥 강화학습이 도시 교통 최적화를 위한 확장 가능하고 효율적인 솔루션으로서의 잠재력을 평가하는 것.
• 단일 교차로 시나리오에서 DRL을 사용하여 지연 감소와 교통 흐름 향상을 위한 실증적 증거를 제공하는 것.

제안 방법

• 모델은 사용자 정의 상태 공간 기반으로 최적의 신호 주기 전환을 학습하는 딥 Q네트워크(DQN) 에이전트를 사용한다.
• 상태 공간에는 시간대, 요일, 현재 신호 주기, 교차로 각 진입로의 실시간 대기열 길이가 포함된다.
• 행동 공간은 신호 주기 전환으로 구성되며, 에이전트는 누적 지연을 최소화하는 다음 주기를 선택한다.
• 보상 함수는 차량 지연과 대기열 축적을 방지하도록 설계되어, 교차로를 효율적으로 통과하도록 유도한다.
• 모델는 단일 고립 교차로에서의 9주간 시뮬레이션 교통 데이터를 사용하여 훈련 및 평가된다.
• 성능는 동일한 시뮬레이션 조건에서 고정시간 및 반동작 신호 제어 전략과의 비교를 통해 평가된다.

실험 결과

연구 질문

• RQ1 딥 강화학습 에이전트는 동적이고 실시간 환경에서 교통 신호를 효과적으로 제어하는 데 성공할 수 있는가?
• RQ2 제안된 DRL 기반 제어기의 성능은 기존의 고정시간 및 반동작 신호 제어 대비 지연 감소 측면에서 어떻게 다른가?
• RQ3 상태 공간에 시간적 및 대기열 기반 특징을 통합할 경우 제어 성능 향상에 어느 정도 기여하는가?
• RQ4 DRL 접근법은 다중 교차로 또는 네트워크 수준의 교통 제어에 대해 확장 가능한가?
• RQ5 모델은 정점 시간대와 비정점 시간대를 포함한 다양한 교통 패턴에서도 견고성을 보여주는가?

주요 결과

• DRL 기반 제어기는 반동작 신호 제어 대비 평균 32%의 차량 지연 감소를 달성했다.
• 9주간의 시뮬레이션 기간 동안 고정시간 신호 제어 대비 평균 지연이 37% 감소했다.
• 성능 향상은 하루 중 시간대와 요일에 관계없이 일관되게 유지되어, 높은 적응 가능성임을 시사한다.
• 시간대, 요일, 신호 주기, 대기열 길이를 포함하는 상태 공간 설계가 모델의 학습 효율성과 성능 향상에 크게 기여했다.
• 결과는 딥 강화학습이 복잡하고 동적인 교통 환경에서 신호 주기를 효과적으로 최적화할 수 있음을 보여준다.
• 시뮬레이션 결과는 DRL 기반 제어가 전통적 방법보다 지연을 최소화하고 교차로 단위의 교통 흐름을 향상시키는 데 뛰어나다는 것을 시사한다.