[논문 리뷰] Efficient Pressure: Improving efficiency for signalized intersections

Qiang Wu, Liang Zhang외 4명|arXiv (Cornell University)|2021. 12. 04.

Traffic control and management인용 수 12

한 줄 요약

이 논문은 신호제어의 성능을 향상시키기 위해 차량 대기열 길이의 차이를 기반으로 한 새로운 교통상태 표현인 효율적 압력(Efficient Pressure, EP)을 도입한다. 고정된 단계 지속시간과 4단계 신호를 갖는 프로토콜에 EP를 통합함으로써, 저복잡도와 낮은 학습 필요성으로 기존의 강화학습 기반 접근법보다 최신 기술 수준(SoA) 성능을 달성하는 Efficient-MP(기존 방법)과 Efficient-XLight(일반 강화학습 템플릿)을 제안한다.

ABSTRACT

Since conventional approaches could not adapt to dynamic traffic conditions, reinforcement learning (RL) has attracted more attention to help solve the traffic signal control (TSC) problem. However, existing RL-based methods are rarely deployed considering that they are neither cost-effective in terms of computing resources nor more robust than traditional approaches, which raises a critical research question: how to construct an adaptive controller for TSC with less training and reduced complexity based on RL-based approach? To address this question, in this paper, we (1) innovatively specify the traffic movement representation as a simple but efficient pressure of vehicle queues in a traffic network, namely efficient pressure (EP); (2) build a traffic signal settings protocol, including phase duration, signal phase number and EP for TSC; (3) design a TSC approach based on the traditional max pressure (MP) approach, namely efficient max pressure (Efficient-MP) using the EP to capture the traffic state; and (4) develop a general RL-based TSC algorithm template: efficient Xlight (Efficient-XLight) under EP. Through comprehensive experiments on multiple real-world datasets in our traffic signal settings' protocol for TSC, we demonstrate that efficient pressure is complementary to traditional and RL-based modeling to design better TSC methods. Our code is released on Github.

연구 동기 및 목표

• 동적 교통 조건에 적응하지 못하는 기존 교통 신호 제어 방법의 한계를 해결하기 위해.
• 강화학습 기반 교통 신호 제어 방법의 계산 비용과 학습 시간을 줄이면서도 안정성을 향상시키기 위해.
• 기존의 전통적 방법과 강화학습 기반 방법의 성능을 향상시키는 데 기여할 수 있는 효율적이고 저복잡도의 교통상태 표현을 규명하기 위해.
• 모든 교통 신호 제어 방법 간의 일관되고 공정한 비교를 가능하게 하는 표준화된 교통 신호 설정 프로토콜을 개발하기 위해.

제안 방법

• 들어오는 차선과 나가는 차선 간의 대기열 길이의 차이로 정의되는, 단순화되었지만 효과적인 교통상태 표현인 효율적 압력(Efficient Pressure, EP)을 제안한다.
• 일致된 평가를 위해 고정된 15초 단위의 단계 지속시간과 4단계 신호 주기 설정을 포함하는 표준화된 TSC 프로토콜을 수립한다.
• 네트워크의 통과량을 최대화하는 데 목적이 있는, EP를 사용해 신호 단계 전환을 유도하는 전통적 제어 방법인 Efficient-MP를 설계한다.
• EP를 상태 표현으로 사용하고 기존 강화학습 프레임워크와 통합 가능한 일반 강화학습 기반 알고리즘 템플릿인 Efficient-XLight를 개발한다.
• 강화학습 프레임워크 내에서 학습을 이끄는 데 사용하기 위해 교차로의 압력(대기열 길이의 차이) 기반의 보상 함수를 활용한다.
• 일致된 초모수 및 평가 프로토콜을 사용하여, 실제 도시 데이터셋(JiNan 및 HangZhou)을 기반으로 프레임워크의 유효성을 검증한다.

실험 결과

연구 질문

• RQ1 효율적 압력(Efficient Pressure, EP)과 같은 단순화된 교통상태 표현이 기존의 복잡한 표현보다 교통 신호 제어에서 더 뛰어난 성능을 낼 수 있는가?
• RQ2 EP를 사용한 전통적 제어 방법(Efficient-MP)이 최신 기술 수준의 강화학습 기반 TSC 방법보다 더 뛰어난 성능을 내는가?
• RQ3 EP를 상태 입력으로 사용할 때, Efficient-XLight 템플릿이 기존의 MPLight 및 CoLight 알고리즘의 성능을 크게 향상시킬 수 있는가?
• RQ4 고정된 단계 지속시간과 단계 수를 갖는 표준화된 TSC 프로토콜이 다양한 방법 간의 공정하고 재현 가능한 비교를 가능하게 하는가?
• RQ5 EP를 통해 모델의 복잡도와 학습 시간을 줄임으로써, 강화학습 기반 TSC 시스템의 실세계 적용 가능성은 향상되는가?

주요 결과

• Efficient-MP는 전통적 방법과 강화학습 기반 방법 모두에서 최신 기술 수준(SoA) 성능을 달성하며, MPLight나 CoLight와 같은 고도의 강화학습 모델을 능가한다.
• 동일한 EP 기반 상태 표현을 사용할 경우, 기존의 최대압력(MP) 방법도 최근의 많은 강화학습 기반 방법과 비슷하거나 더 뛰어난 성능을 보인다.
• CoLight에 EP를 상태 표현으로 적용할 경우, 원시 차량 수나 다른 압력 변형보다 평균 이동 시간을 최대 10.5% 감소시킨다.
• Efficient-XLight는 기존의 MPLight 및 CoLight 버전에 비해 성능을 크게 향상시켜, EP 기반 템플릿의 효과성을 입증한다.
• 15초 단위의 4단계 신호 설정이 모든 테스트된 방법에서 최고의 성능를 보였으며, 제안된 프로토콜의 타당성을 입증한다.
• EP 기반 모델은 O(1)의 계산 복잡도를 확보하여, 장기간 학습이 필요한 강화학습 기반 방법보다 실시간 구동에 더 적합하다.