[논문 리뷰] Distributed traffic light control at uncoupled intersections with real-world topology by deep reinforcement learning

Mark Schutera, Niklas Goby외 2명|arXiv (Cornell University)|2018. 11. 27.

Traffic control and management참고 문헌 17인용 수 7

한 줄 요약

이 논문은 실제 도로 구조를 가진 분리된 교차로에 대해 딥 강화학습(DRL) 기반의 분산 교통신호 제어(TLC) 방법을 제안하며, 행동 공간에서 단계 선택과 전환 시간 모두를 모델링한다. SUMO에서 프리드리히스하펜의 실제 도로 네트워크를 대상으로 평가한 결과, 시간 손실이 크게 감소하여 다양한 교차로 형상에서 기준 고정시간, 갭 기반, 시간 기반 전략보다 평균 5초 이상 우수하며, 비정상적인 구조에 대해서도 강건함을 입증한다.

ABSTRACT

This work examines the implications of uncoupled intersections with local real-world topology and sensor setup on traffic light control approaches. Control approaches are evaluated with respect to: Traffic flow, fuel consumption and noise emission at intersections. The real-world road network of Friedrichshafen is depicted, preprocessed and the present traffic light controlled intersections are modeled with respect to state space and action space. Different strategies, containing fixed-time, gap-based and time-based control approaches as well as our deep reinforcement learning based control approach, are implemented and assessed. Our novel DRL approach allows for modeling the TLC action space, with respect to phase selection as well as selection of transition timings. It was found that real-world topologies, and thus irregularly arranged intersections have an influence on the performance of traffic light control approaches. This is even to be observed within the same intersection types (n-arm, m-phases). Moreover we could show, that these influences can be efficiently dealt with by our deep reinforcement learning based control approach.

연구 동기 및 목표

• 실제 교차로 구조, 특히 비대칭적이고 비정상적인 레이아웃이 분산 교통신호 제어(TLC) 성능에 미치는 영향을 조사하는 것.
• 제한된 센서 데이터를 가진 복잡한 실제 도로 구조에서 딥 강화학습(DRL)의 효과성을 평가하는 것.
• 실제 교통 조건 하에서 DRL 기반 TLC를 고정시간, 갭 기반, 시간 기반 제어 전략과 비교하는 것.
• DRL이 단계 선택과 전환 시간을 모두 모델링함으로써 비이상적이고 실제 환경에서의 적응형 최적화를 가능하게 한다는 것을 입증하는 것.

제안 방법

• 프리드리히스하펜의 실제 도로 네트워크를 SUMO에서 이방향 그래프로 모델링하였으며, 교차로는 노드로, 도로 세그먼트는 간선으로 표현하였다.
• 교통신호 제어는 단계 선택과 전환 시간을 모두 선택할 수 있도록 훈련된 DRL 에이전트를 사용하여 구현하였으며, 기존의 시간 전용 행동 공간을 초월하였다.
• 상태 공간은 주로 유도선 감지기(ILD)에서 온 실제 센서 데이터로 제한되어 있었으며, 과도하게 유리한 상태 표현을 피하기 위해 노력하였다.
• 시간 손실을 최소화하는 맞춤형 보상 함수를 정의하였으며, 이는 교차로에서 정지로 인해 차량이 최대 속도 이하로 머무는 누적 시간으로 정의되었다.
• DRL 에이전트는 3600단계 테스트 시퀀스를 사용한 마이크로 트래픽 시뮬레이션 환경에서 훈련 및 평가되었다.
• 기준 방법으로는 고정시간, 갭 기반, 시간 기반 제어 전략이 포함되었으며, 모두 동일한 시뮬레이션 조건 하에서 평가되었다.

실험 결과

연구 질문

• RQ1 실제 교차로 구조, 특히 비정상적이고 비대칭적인 레이아웃이 분산 교통신호 제어 시스템 성능에 어떻게 영향을 미치는가?
• RQ2 DRL 기반 TLC 접근법은 현실적인 센서 제약 조건 하에서 다양한 교차로 형상(예: 삼지점 vs. 사지점, 다양한 단계 수)을 효과적으로 처리할 수 있는가?
• RQ3 DRL 행동 공간에서 단계 선택과 전환 시간을 모두 모델링할 경우, 시간 전용 접근법보다 성능이 향상되는가?
• RQ4 시간 손실, 연료 소비, 소음 배출 측면에서 DRL 접근법은 전통적 제어 전략(고정시간, 갭 기반, 시간 기반)과 어떻게 비교되는가?
• RQ5 DRL 모델은 다양한 교차로 유형 간 시간 손실 변동성을 얼마나 줄이며, 이상치에 어떻게 대응하는가?

주요 결과

• DRL 기반 접근법은 거의 모든 평가된 교차로에서 기준 전략 대비 평균 시간 손실을 최소 5초 이상 감소시켰으며, 동일한 지점 수와 단계 수를 가진 교차로에서도 마찬가지였다.
• 실제 도로 구조는 TLC 성능에 상당한 영향을 미치며, 비슷한 유형(예: 4단계 3지점 교차로)의 교차로 간 시간 손실이 기하학적 비정상성으로 인해 4~11초의 격차를 보였다.
• DRL 접근법의 시간 손실 사분위율 범위는 6초 이내였으며, 이는 대부분의 차량에 대해 교통 흐름을 안정적이고 매끄럽게 만든다는 것을 시사한다.
• J1, J2, J3, J4 교차로에서 DRL 모델은 모든 기준 전략을 능가했으며, J4에서는 기준 전략 중 최고 성능과 유사한 성능을 보였다.
• Welch의 두 표본 t-검정을 통해 DRL 접근법과 기준 전략 간 평균 시간 손실의 유의미한 차이가 거의 모든 교차로에서 확인되었다.
• 일부 이상치가 있었음에도 불구하고 DRL 모델의 성능는 기준 결과의 범위 내에 유지되어 강건성과 실용적 타당성을 시사한다.