[논문 리뷰] A Survey on Traffic Signal Control Methods

Hua Wei, Guanjie Zheng외 2명|arXiv (Cornell University)|2019. 04. 17.

Traffic control and management참고 문헌 65인용 수 177

한 줄 요약

이 설문은 트래픽 신호 제어에 대한 고전적 운송 공학 방법과 단일 에이전트 및 다중 에이전트 설정에 대한 강화 학습 접근법을 검토하며, 문제 형식화, 방법 및 RL 기초를 자세히 다룬다.

ABSTRACT

Traffic signal control is an important and challenging real-world problem, which aims to minimize the travel time of vehicles by coordinating their movements at the road intersections. Current traffic signal control systems in use still rely heavily on oversimplified information and rule-based methods, although we now have richer data, more computing power and advanced methods to drive the development of intelligent transportation. With the growing interest in intelligent transportation using machine learning methods like reinforcement learning, this survey covers the widely acknowledged transportation approaches and a comprehensive list of recent literature on reinforcement for traffic signal control. We hope this survey can foster interdisciplinary research on this important topic.

연구 동기 및 목표

• 교통 신호 제어를 위한 전통적인 운송 공학 방법과 그것의 가정들을 요약한다.
• 현실의 동적 교통 상황에 직면했을 때 규칙 기반 및 최적화 기반 접근법의 한계를 강조한다.
• 교통 신호 제어를 위한 강화 학습의 기초를 소개하고 단일 에이전트와 다중 에이전트 형식을 비교한다.
• RL 기반 교통 신호 제어를 위한 데이터, 상태 표현, 보상 설계에 대한 지침을 제공한다.

제안 방법

• 전통적 방법들(Webster, GreenWave, Maxband, Actuated, SOTL, Max-pressure, SCATS)을 입력, 출력 및 제약 조건과 함께 조사한다.
• 조정된 신호를 위한 사이클 기반 타이밍, 오프셋 및 대역폭 개념을 설명한다.
• MDP, Q-러닝 및 다중 에이전트 설정을 위한 확률적 게임을 포함한 교통 신호 제어를 위한 RL 프레임워크를 제시한다.
• 독립적 및 다중 교차로 시나리오에서 RL이 상태, 행동, 보상 및 전이 동역학을 어떻게 통합하는지 설명한다.

실험 결과

연구 질문

• RQ1 트래픽 신호 제어를 위한 전통적인 최적화 기반 및 규칙 기반 접근 방식과 그 한계는 무엇인가?
• RQ2 단일 교차로 및 다중 교차로 트래픽 신호 제어를 위해 강화 학습을 어떻게 구성할 수 있으며(상태, 행동, 보상) 주요 설계 선택은 무엇인가?
• RQ3 RL 기반 교통 신호 제어를 위한 실용적인 데이터 소스와 모델링 고려 사항은 무엇인가?
• RQ4 다중 에이전트 RL 프레임워크(확률적 게임)가 협력 네트워크 교통 신호 제어에 어떻게 적용되는가?
• RQ5 RL 기반 방법과 고전적 운송 방법 간의 벤치마크나 비교는 무엇이 있는가?

주요 결과

• 이 설문은 고전적 방법들을 데이터 입력 및 출력과 연결지어 매핑하고 언제 고정 시간이나 작동 제어 전략이 사용되는지 명확히 한다.
• GreenWave 및 Maxband는 사이클 길이 제약과 협력 신호를 위한 대역폭 기반 진행을 설명한다.
• Actuated 및 SOTL 방법은 실시간으로 페이즈를 조정하기 위해 요청과 임계치를 의존하는 반면, Max-pressure는 대기열 길이의 압력 균형을 통해 네트워크 처리량을 목표로 한다.
• SCATS는 성능 지표를 기반으로 반복적인 계획 선택을 하는 사전에 정의된 계획 접근 방식으로 설명된다.
• RL 기초가 단일 및 다중 에이전트 트래픽 신호 제어를 위한 이론으로 제시되며, MDP 및 확률적 게임 형식과 보상의 역할을 개략적으로 다룬다.
• 본 논문은 트래픽 신호 제어에서 데이터 기반 RL 접근법을 가능하게 하기 위해 더 풍부한 모빌리티 데이터와 계산 능력의 통합 필요성을 강조한다.