[论文解读] Intelligent Traffic Light Control Using Distributed Multi-agent Q Learning

Ying Liu, Lei Liu+1 more|arXiv (Cornell University)|Nov 29, 2017

Traffic Prediction and Management Techniques被引用 5

一句话总结

本文提出了一种用于智能交通灯控制的分布式多智能体Q-learning框架，通过利用物联网传感器和相邻路口的实时数据，联合优化机动车与行人的交通流。该方法在多种行人交通场景下，均优于现有方法，显著降低了队列长度、等待时间、排放量和燃油消耗。

ABSTRACT

The combination of Artificial Intelligence (AI) and Internet-of-Things (IoT), which is denoted as AI-powered Internet-of-Things (AIoT), is capable of processing huge amount of data generated from a large number of devices and handling complex problems in social infrastructures. As AI and IoT technologies are becoming mature, in this paper, we propose to apply AIoT technologies for traffic light control, which is an essential component for intelligent transportation system, to improve the efficiency of smart city's road system. Specifically, various sensors such as surveillance cameras provide real-time information for intelligent traffic light control system to observe the states of both motorized traffic and non-motorized traffic. In this paper, we propose an intelligent traffic light control solution by using distributed multi-agent Q learning, considering the traffic information at the neighboring intersections as well as local motorized and non-motorized traffic, to improve the overall performance of the entire control system. By using the proposed multi-agent Q learning algorithm, our solution is targeting to optimize both the motorized and non-motorized traffic. In addition, we considered many constraints/rules for traffic light control in the real world, and integrate these constraints in the learning algorithm, which can facilitate the proposed solution to be deployed in real operational scenarios. We conducted numerical simulations for a real-world map with real-world traffic data. The simulation results show that our proposed solution outperforms existing solutions in terms of vehicle and pedestrian queue lengths, waiting time at intersections, and many other key performance metrics.

研究动机与目标

• 解决传统交通灯系统仅优先考虑机动车而导致的低效问题。
• 将非机动车交通（行人与自行车）整合到动态交通信号控制中，以提升城市交通流动性。
• 通过在强化学习框架中嵌入实际交通控制约束，开发一种可扩展且可实际部署的解决方案。
• 利用真实世界地图和交通数据，在不同行人流量条件下评估所提出系统的性能。

提出的方法

• 系统采用分布式多智能体强化学习架构，每个路口配置一个Q-learning智能体。
• 每个智能体观测本地交通状况，包括车辆和行人队列长度，并通过网络与相邻路口交换状态信息。
• Q-learning算法通过引入现实世界中的交通控制规则（例如最小绿灯时间、相位顺序约束）进行增强，以确保动作的安全性与可行性。
• 动作空间包括信号相位转换，以平衡车辆与行人的通行效率，最小化总等待时间。
• 算法采用集中式训练、分布式执行（CTDE）范式，实现在无需完全可观测条件下的协调。
• 性能评估基于OpenStreetMap的真实地图和Caltrans提供的真实交通数据，模拟了不同行人流量场景。

实验结果

研究问题

• RQ1 多智能体Q-learning系统能否在同时考虑机动车与非机动车交通的前提下，有效协调多个路口的交通信号？
• RQ2 与仅考虑车辆的强化学习交通控制方法相比，引入行人交通对系统性能有何影响？
• RQ3 在不损害学习效率或解决方案质量的前提下，现实世界中的交通控制约束在多大程度上可被整合进Q-learning框架？
• RQ4 在真实世界交通模式下，所提出的系统在不同行人流量（高、中、低）下的表现如何？
• RQ5 分布式协调机制是否相比孤立控制或固定周期控制系统的全局性能更优？

主要发现

• 与MARL相比，该方案在高行人流量条件下将车辆等待时间减少了16.7%，在中等和低行人流量条件下分别减少了12.2%和7.0%。
• 行人队列长度显著降低，系统有效平衡了对车辆与行人的服务。
• 与固定周期和基于传感器的控制方法相比，CO2和CO排放量最高可减少30%，尤其在中等和高行人流量条件下表现更优。
• 在所有场景下，燃油消耗和噪音污染均持续降低，与固定周期系统相比最高减少40%。
• 该系统在所有测试的行人流量水平下均保持优异性能，展现出对动态城市交通模式的鲁棒性与适应性。
• 将现实世界交通规则整合进Q-learning框架，使得系统能够在实际运行环境中实现可行且安全的部署。