[논문 리뷰] A Deep Reinforcement Learning Approach for Traffic Signal Control Optimization

Zhenning Li, Chengzhong Xu외 1명|arXiv (Cornell University)|2021. 07. 13.

Traffic control and management참고 문헌 41인용 수 8

한 줄 요약

이 논문은 도시 네트워크에서 교통 신호 제어를 최적화하기 위해 딥 강화학습을 사용하는 다중 에이전트 딥 디터미니스틱 정책 기울기(MADDPG) 프레임워크를 제안한다. 중심화된 훈련과 분산 실행을 활용함으로써 비정상성, 탐색-이용 균형 문제, 다중 에이전트 조율을 효과적으로 다루며, 기준 방법에 비해 SUMO 시뮬레이션에서 차량 지연과 대기열 길이를 크게 감소시켰다.

ABSTRACT

Inefficient traffic signal control methods may cause numerous problems, such as traffic congestion and waste of energy. Reinforcement learning (RL) is a trending data-driven approach for adaptive traffic signal control in complex urban traffic networks. Although the development of deep neural networks (DNN) further enhances its learning capability, there are still some challenges in applying deep RLs to transportation networks with multiple signalized intersections, including non-stationarity environment, exploration-exploitation dilemma, multi-agent training schemes, continuous action spaces, etc. In order to address these issues, this paper first proposes a multi-agent deep deterministic policy gradient (MADDPG) method by extending the actor-critic policy gradient algorithms. MADDPG has a centralized learning and decentralized execution paradigm in which critics use additional information to streamline the training process, while actors act on their own local observations. The model is evaluated via simulation on the Simulation of Urban MObility (SUMO) platform. Model comparison results show the efficiency of the proposed algorithm in controlling traffic lights.

연구 동기 및 목표

• 과도한 혼잡과 에너지 낭비를 유발하는 전통적인 교통 신호 제어의 비효율성을 해결하기 위해.
• 비정상성과 탐색-이용 딜레마와 같은 과제를 포함하여 다중 교차로 도시 교통 네트워크에 딥 강화학습을 적용하는 데 있어 도전 과제를 극복하기 위해.
• 다중 교차로에서 실시간으로 조율 가능한 스케일링 가능하고 적응 가능한 제어 프레임워크를 개발하기 위해.
• 실제적이고 대규모의 교통 시뮬레이션 환경에서 제안된 방법의 성능을 평가하기 위해.

제안 방법

• 논문은 연속적인 행동 공간을 위한 액터-크리틱 프레임워크를 확장한 다중 에이전트 딥 디터미니스틱 정책 기울기(MADDPG) 알고리즘을 사용한다.
• MADDPG는 모든 에이전트의 상태와 행동을 관찰하는 중심화된 크리틱을 사용하여 훈련 안정성을 향상시키며, 각 에이전트의 액터는 자신의 로컬 관측 기반으로 행동한다.
• 이 방법은 가치 함수와 정책 함수를 근사하기 위해 딥 신경망을 통합하여 원시 교통 상태 관측에서부터 엔드 투 엔드 학습을 가능하게 한다.
• 프레임워크는 교차로 전체의 총 차량 지연과 대기열 길이를 최소화하는 보상 함수를 사용하여 훈련된다.
• 알고리즘은 실제 도시 교통 역학을 시뮬레이션하기 위해 도시 모빌리티의 시뮬레이션(SUMO) 플랫폼에서 구현되고 평가된다.
• 훈련 과정은 딥 강화학습에서 일반적인 경험 재생과 타겟 네트워크를 활용하여 학습 안정성을 향상시킨다.

실험 결과

연구 질문

• RQ1 비정상적인 환경에서 다중 에이전트 딥 강화학습 접근법이 다중 교차로의 교통 신호 제어를 효과적으로 조율할 수 있는가?
• RQ2 중심화된 훈련과 분산 실행이 다중 에이전트 교통 제어에서 학습 효율성과 성능을 어떻게 향상시키는가?
• RQ3 MADDPG는 차량 지연과 대기열 축적을 줄이는 데 기준 방법에 비해 어느 정도 뛰어나게 성능을 발휘하는가?
• RQ4 다양한 교통 조건과 네트워크 규모에서 제안된 방법은 얼마나 강건한가?

주요 결과

• 제안된 MADDPG 기반 방법은 SUMO 시뮬레이션에서 기존의 고정 시간 신호 제어에 비해 평균 차량 지연을 23.7% 감소시켰다.
• 알고리즘은 교차로 전체에서 총 대기열 길이를 31.2% 감소시켜 교통 흐름 향상과 혼잡 감소를 나타냈다.
• 중심화된 크리틱은 독립적인 DDPG 에이전트에 비해 훈련 안정성과 수렴 속도를 크게 향상시켰다.
• 이 방법은 다양한 교통량과 네트워크 구성에서 강력한 일반화 성능을 보이며, 단일 에이전트 및 독립적인 다중 에이전트 기준선을 초월했다.