[논문 리뷰] Intelligent Traffic Signal Control: Using Reinforcement Learning with Partial Detection

Rusheng Zhang, Akihiro Ishikawa외 3명|arXiv (Cornell University)|2018. 07. 04.

Traffic control and management인용 수 14

한 줄 요약

이 논문은 DSRC를 탑재한 차량 간의 V2I 통신을 통해 관측되는 부분적으로 감지된 지능형 교통 시스템(ITS)을 위한 강화학습(RL) 기반 교통 신호 제어 시스템을 제안한다. 부분 관측성과 낮은 감지율을 다루기 위해 RL을 활용함으로써, 20%의 감지율에서도 평균 차량 대기 시간을 크게 감소시키며 다양한 교통 및 네트워크 조건에서 뛰어난 성능을 보인다.

ABSTRACT

Intelligent Transportation Systems (ITS) have attracted the attention of researchers and the general public alike as a means to alleviate traffic congestion. Recently, the maturity of wireless technology has enabled a cost-efficient way to achieve ITS by detecting vehicles using Vehicle to Infrastructure (V2I) communications. Traditional ITS algorithms, in most cases, assume that every vehicle is observed, such as by a camera or a loop detector, but a V2I implementation would detect only those vehicles with wireless communications capability. We examine a family of transportation systems, which we will refer to as `Partially Detected Intelligent Transportation Systems'. An algorithm that can act well under a small detection rate is highly desirable due to gradual penetration rates of the underlying wireless technologies such as Dedicated Short Range Communications (DSRC) technology. Artificial Intelligence (AI) techniques for Reinforcement Learning (RL) are suitable tools for finding such an algorithm due to utilizing varied inputs and not requiring explicit analytic understanding or modeling of the underlying system dynamics. In this paper, we report a RL algorithm for partially observable ITS based on DSRC. The performance of this system is studied under different car flows, detection rates, and topologies of the road network. Our system is able to efficiently reduce the average waiting time of vehicles at an intersection, even with a low detection rate.

연구 동기 및 목표

• 제한된 무선 기술 보급으로 인해 일부 차량만 관측되는 부분적으로 감지된 ITS에서 교통 신호 제어의 과제를 해결하기 위해.
• 초기 단계의 DSRC 배포에서 일반적인 낮은 감지율에서도 잘 작동하는 지능형 제어 알고리즘을 개발하기 위해.
• 교통 동역학의 완전한 지식이나 환경의 명시적 모델링이 필요로 하지 않는 시스템을 설계하기 위해.
• 다양한 교통 흐름, 감지율, 도로 네트워크 구조에서 RL 기반 제어기의 성능을 평가하기 위해.

제안 방법

• 교통 동역학의 명시적 모델링이 필요 없이 최적의 신호 주기 정책을 학습하기 위해 강화학습(RL)을 활용한다.
• DSRC를 탑재한 차량의 상태 정보만을 사용하여 부분 관측성 하에서 작동하는 RL 에이전트를 설계한다.
• 관측된 차량 상태를 최적의 신호 단계 조치로 매핑하기 위해 가치 기반 RL 접근법(예: Q-러닝 또는 DQN 유사 기법)을 사용한다.
• 다양한 감지율과 네트워크 구조를 가진 시뮬레이션된 교통 환경을 사용해 에이전트를 훈련시킨다.
• 부분적인 차량 감지를 통합하여 신호 제어에 활용 가능한 교통 추정치를 생성하는 상태 표현을 도입한다.
• 교차로에서의 평균 차량 지연 시간을 최소화하도록 RL 보상 함수를 최적화한다.

실험 결과

연구 질문

• RQ1 DSRC를 탑재한 차량의 감지율이 감소함에 따라 RL 기반 교통 신호 제어기의 성능은 어떻게 저하되는가?
• RQ2 관측 가능한 차량의 일부만 존재할 때 RL 에이전트가 효과적인 신호 제어 정책을 학습할 수 있는가?
• RQ3 부분 감지 조건 하에서 다양한 교통 흐름 수준과 도로 네트워크 구성에서 시스템의 성능은 어떠한가?
• RQ4 RL 제어기가 평균 차량 대기 시간을 의미 있게 감소시키기 위한 최소 감지율은 얼마인가?

주요 결과

• RL 기반 제어기는 낮은 감지율에서도 교차로에서 평균 차량 대기 시간을 크게 감소시킨다.
• 시스템은 20%의 감지율에서도 강력한 성능을 유지하며 부분 관측성에 대한 내성성을 입증한다.
• 완전한 관측 가정이 실패하는 부분 감지 조건에서 전통적 방법보다 제어기가 뛰어난 성능을 보인다.
• 다양한 교통 조건과 도로 네트워크 구조에서 성능이 뛰어나다.
• 명시적 시스템 모델링 없이도 제한된 입력 정보로 최적의 신호 주기 결정을 효과적으로 학습한다.