[논문 리뷰] Intelligent Traffic Light Control Using Distributed Multi-agent Q Learning

Ying Liu, Lei Liu외 1명|arXiv (Cornell University)|2017. 11. 29.

Traffic Prediction and Management Techniques인용 수 5

한 줄 요약

이 논문은 사물인터넷(IoT) 센서 및 인접한 교차로로부터의 실시간 데이터를 활용하여 차량 및 보행자 교통 흐름을 공동으로 최적화하는 분산 다중 에이전트 Q-학습 프레임워크를 제안한다. 다양한 보행자 교통 시나리오에서 대기 길이, 대기 시간, 배출가스 및 연료 소비를 감소시키는 데 있어 기존 방법들을 능가한다.

ABSTRACT

The combination of Artificial Intelligence (AI) and Internet-of-Things (IoT), which is denoted as AI-powered Internet-of-Things (AIoT), is capable of processing huge amount of data generated from a large number of devices and handling complex problems in social infrastructures. As AI and IoT technologies are becoming mature, in this paper, we propose to apply AIoT technologies for traffic light control, which is an essential component for intelligent transportation system, to improve the efficiency of smart city's road system. Specifically, various sensors such as surveillance cameras provide real-time information for intelligent traffic light control system to observe the states of both motorized traffic and non-motorized traffic. In this paper, we propose an intelligent traffic light control solution by using distributed multi-agent Q learning, considering the traffic information at the neighboring intersections as well as local motorized and non-motorized traffic, to improve the overall performance of the entire control system. By using the proposed multi-agent Q learning algorithm, our solution is targeting to optimize both the motorized and non-motorized traffic. In addition, we considered many constraints/rules for traffic light control in the real world, and integrate these constraints in the learning algorithm, which can facilitate the proposed solution to be deployed in real operational scenarios. We conducted numerical simulations for a real-world map with real-world traffic data. The simulation results show that our proposed solution outperforms existing solutions in terms of vehicle and pedestrian queue lengths, waiting time at intersections, and many other key performance metrics.

연구 동기 및 목표

• 모터화된 차량만 우선시하는 전통적인 신호등 시스템의 비효율성을 해결하기 위해.
• 비모터화된 교통(보행자 및 자전거 기여자)을 동적 신호 제어에 통합하여 도시 이동성 향상을 위해.
• 실제 교통 제어 제약 조건을 강화 학습 프레임워크에 통합하여 확장 가능하고 실세계에 구현 가능한 솔루션을 개발하기 위해.
• 다양한 보행자 유량 조건에서 실제 지도 및 교통 데이터를 사용하여 제안된 시스템의 성능을 평가하기 위해.

제안 방법

• 시스템은 각 교차로에 하나의 Q-학습 에이전트를 갖는 분산 다중 에이전트 강화 학습 아키텍처를 사용한다.
• 각 에이전트는 차량 및 보행자 대기 길이를 포함한 현지 교통 조건을 관측하며, 네트워크를 통해 인접한 교차로와 상태 정보를 교환한다.
• 안전하고 실행 가능한 동작을 보장하기 위해 실세계 교통 제어 규칙(예: 최소 녹색 시간, 단계 순서 제약 조건)을 Q-학습 알고리즘에 통합한다.
• 행동 공간은 차량과 보행자의 진행을 균형 있게 유지하고 총 대기 시간을 최소화하는 신호 단계 전환을 포함한다.
• 중앙 집중적 훈련과 분산 실행(CTDE) 파라다임을 사용하여 전체 관찰 없이도 협업을 가능하게 한다.
• 성능 평가에는 오픈스트리트맵에서 확보한 실제 지도와 캘트랜스에서 제공한 실제 교통 데이터를 사용하여 다양한 보행자 비율을 시뮬레이션한다.

실험 결과

연구 질문

• RQ1 다중 에이전트 Q-학습 시스템은 모터화된 교통과 비모터화된 교통을 모두 고려하면서 교차로 간의 신호를 효과적으로 조율할 수 있는가?
• RQ2 보행자 교통을 포함할 경우, 차량 중심의 접근 방식과 비교해 강화 학습 기반 교통 제어의 성능은 어떻게 영향을 받는가?
• RQ3 실세계 교통 제어 제약 조건을 Q-학습 프레임워크에 통합할 때 학습 효율성 또는 솔루션 품질에 손상이 가지 않는 정도로 어느 정도까지 통합이 가능한가?
• RQ4 실세계 교통 패턴에서 다양한 보행자 유량(고, 중, 저) 조건에서 제안된 시스템은 어떻게 성능을 발휘하는가?
• RQ5 분산 협업 메커니즘이 고립형 또는 고정 시간 제어 시스템보다 더 뛰어난 전반적 성능을 낼 수 있는가?

주요 결과

• 고보행자 유량 조건에서 MARL 대비 차량 대기 시간이 16.7% 감소하였으며, 중·저보행자 유량 조건에서는 각각 12.2% 및 7.0% 향상되었다.
• 보행자 대기 길이가 크게 감소하였으며, 시스템은 차량 및 보행자 교통에 균형 잡힌 서비스를 유지하였다.
• 이산화탄소(CO2) 및 일산화탄소(CO) 배출가스는 고정 시간 및 센서 기반 제어 방법 대비 최대 30% 감소하였으며, 특히 중·고보행자 조건에서 두드러졌다.
• 모든 시나리오에서 연료 소비와 소음 polution이 일관되게 낮아, 고정 시간 시스템 대비 최대 40% 감소하였다.
• 모든 테스트된 보행자 유량 조건에서 뛰어난 성능을 유지하여 동적 도시 교통 패턴에 대한 강건성과 적응성을 입증하였다.
• 실세계 교통 규칙을 Q-학습 프레임워크에 통합함으로써 운영 환경에서 실행 가능하고 안전한 구현이 가능해졌다.