[논문 리뷰] An Efficient Deep Reinforcement Learning Model for Urban Traffic Control

Yilun Lin, Xingyuan Dai외 2명|arXiv (Cornell University)|2018. 08. 06.

Traffic control and management참고 문헌 7인용 수 55

한 줄 요약

본 논문은 잔차 네트워크를 활용한 DRL 기반의 도시 교통 제어 시스템을 효율적으로 제시하며, 하이브리드 보상과 클리핑된 PPO를 이용해 다중 교차로 신호 타이밍을 관리하고 수렴 속도를 높이며 처리량을 개선한다.

ABSTRACT

Urban Traffic Control (UTC) plays an essential role in Intelligent Transportation System (ITS) but remains difficult. Since model-based UTC methods may not accurately describe the complex nature of traffic dynamics in all situations, model-free data-driven UTC methods, especially reinforcement learning (RL) based UTC methods, received increasing interests in the last decade. However, existing DL approaches did not propose an efficient algorithm to solve the complicated multiple intersections control problems whose state-action spaces are vast. To solve this problem, we propose a Deep Reinforcement Learning (DRL) algorithm that combines several tricks to master an appropriate control strategy within an acceptable time. This new algorithm relaxes the fixed traffic demand pattern assumption and reduces human invention in parameter tuning. Simulation experiments have shown that our method outperforms traditional rule-based approaches and has the potential to handle more complex traffic problems in the real world.

연구 동기 및 목표

• 대규모 UTC를 모델 프리 데이터 기반 방법으로 제어하는 도전 과제를 해결하고 이를 동기 부여한다.
• 다수의 교차로에 확장 가능하도록 수동 조정의 부담 없이 DRL 프레임워크를 개발한다.
• 훈련을 안정시키고 지역적 목표와 글로벌 목표의 균형을 맞추는 보상 및 학습 아키텍처를 설계한다.
• 시뮬레이션된 도시 네트워크에서 빠른 수렴과 실용적인 학습 효율성을 입증한다.

제안 방법

• 트래픽 데이터를 DRL 모델의 2차원 텐서 입력으로 형식화한다.
• 공유된 ResNet 기반 특징 추출기를 갖춘 중앙 집중식 액터-크리틱 DRL 아키텍처를 채택한다.
• 전역 네트워크 흐름과 로컬 교차로 균형을 결합한 하이브리드 보상을 사용하고, 전역 보상에 점진적으로 더 큰 비중을 두는 방식으로
• 일반화된 어드밴티지 추정(GAE)을 활용한 Advantage Actor-Critic(A2C) 프레임워크를 사용한다.
• 단조로운 개선과 안정성을 보장하기 위해 클리핑된 PPO를 사용하여 정책을 업데이트한다.
• 병렬 다중 액터 학습, 동기화된 업데이트, 그리고 효율성을 위한 Adam 최적화를 활용한다.

실험 결과

연구 질문

• RQ1 DRL 기반 UTC 컨트롤러가 고정 시간 제어 및 차량 작동 제어에 비해 다양한 수요 수준에서 더 높은 처리량과 더 낮은 대기 시간을 달성할 수 있는가?
• RQ2 전역 네트워크 성능과 로컬 교차로 균형(하이브리드 보상)을 모두 포함시키는 것이 학습 효율성과 최종 성능을 향상시키는가?
• RQ3 클리핑된 PPO를 갖춘 ResNet 기반 DRL 모델이 대규모 UTC 문제에서 빠르게 수렴하는가?
• RQ4 제안된 방법이 미포화, 포화 및 과부하 교통 상태에서 어떤 성능을 보이는가?

주요 결과

• DRL 기반 UTC가 시험된 수요 범위에서 미포화 및 포화 시나리오에서 고정 시간 제어 및 차량 작동 제어기보다 우수하다.
• 평균 교통 시스템 처리량은 25.19% 증가(고정 시간 대비) 및 37.81% 증가(차량 작동 대비).
• 평균 대기 시간은 18.68% 감소(고정 시간 대비) 및 28.54% 감소(차량 작동 대비).
• DRL 제어기는 평가된 수요 전반에 걸쳐 MFD에서 교통 축적이 더 낮고 증가 속도가 느리게 나타난다.
• 학습은 50회 에피소드 미만으로 수렴하고, 이중 GPU 워크스테이션에서 전체 학습에 약 7시간 30분이 소요된다.
• 하이브리드 보상(전역 + 로컬 균형)은 훈련 중 전역 보상만 사용하는 것보다 현저히 더 나은 성능을 보인다.