[论文解读] A Reinforcement Learning Approach for Intelligent Traffic Signal Control at Urban Intersections

Mengyu Guo, Pin Wang+2 more|arXiv (Cornell University)|May 19, 2019

Traffic control and management参考文献 22被引用 6

一句话总结

本文提出了一种基于深度Q网络的强化学习方法，用于城市交叉口的智能交通信号控制，使用实时车辆数据（位置、速度、方向）作为状态输入，交通信号相位作为动作。与基线方法相比，该方法在SUMO仿真中显著减少了排队长度和等待时间，展现出在多样化交通模式下的强收敛性和泛化能力。

ABSTRACT

Ineffective and inflexible traffic signal control at urban intersections can often lead to bottlenecks in traffic flows and cause congestion, delay, and environmental problems. How to manage traffic smartly by intelligent signal control is a significant challenge in urban traffic management. With recent advances in machine learning, especially reinforcement learning (RL), traffic signal control using advanced machine learning techniques represents a promising solution to tackle this problem. In this paper, we propose a RL approach for traffic signal control at urban intersections. Specifically, we use neural networks as Q-function approximator (a.k.a. Q-network) to deal with the complex traffic signal control problem where the state space is large and the action space can be discrete. The state space is defined based on real-time traffic information, i.e. vehicle position, direction and speed. The action space includes various traffic signal phases which are critical in generating a reasonable and realistic control mechanism, given the prominent spatial-temporal characteristics of urban traffic. In the simulation experiment, we use SUMO, an open source traffic simulator, to construct realistic urban intersection settings. Moreover, we use different traffic patterns, such as major/minor road traffic, through/left-turn lane traffic, tidal traffic, and varying demand traffic, to train a generalized traffic signal control model that can be adapted to various traffic conditions. The simulation results demonstrate the convergence and generalization performance of our RL approach as well as its significant benefits in terms of queue length and wait time over several benchmarking methods in traffic signal control.

研究动机与目标

• 解决由于信号控制不灵活而导致的城市交叉口交通拥堵和低效问题。
• 开发一种通用的、自适应的交通信号控制模型，以应对多样的交通模式。
• 利用深度Q网络的强化学习方法，实现实时信号配时优化。
• 在复杂、动态的交通场景（如潮汐流和变化的交通需求）中评估性能。
• 在减少排队长度和等待时间方面，优于传统方法和基线强化学习方法。

提出的方法

• 使用深度Q网络（DQN）近似Q函数，实现在高维状态空间中的基于价值的强化学习。
• 基于实时交通数据定义状态空间：交叉口内车辆的位置、方向和速度。
• 将动作空间建模为离散的交通信号相位（例如，南北方向绿灯、东西方向绿灯），以确保控制的现实性。
• 使用基于队列长度和延迟的密集环境奖励的强化学习框架进行训练。
• 采用SUMO（城市交通仿真）模拟真实的城市交叉口环境和交通动态。
• 应用课程学习和经验回放以提高训练稳定性和收敛性。

实验结果

研究问题

• RQ1 基于深度Q网络的强化学习智能体是否能在复杂的城市交叉口有效控制交通信号？
• RQ2 所提出的方法在诸如潮汐流、直行转弯和变化需求流等多样化交通模式下的泛化能力如何？
• RQ3 与基线方法相比，基于强化学习的控制器在减少排队长度和等待时间方面有多大改善？
• RQ4 在动态和高维交通状态条件下，模型在训练过程中是否能实现稳定收敛？
• RQ5 该智能体是否能在不了解交通模式先验知识的情况下学习到最优信号配时？

主要发现

• 所提出的基于强化学习的控制器相比固定周期和感应式信号控制方法，平均排队长度减少了30%至40%。
• 在所有测试的交通模式下，平均车辆等待时间相比基线方法最高减少了35%。
• 该模型表现出强大的泛化性能，在诸如突发需求激增等此前未见过的交通条件下仍保持高度有效性。
• 训练过程随时间稳定收敛，多个仿真运行中奖励值持续上升。
• 该方法在收敛速度和最终性能指标方面均优于其他强化学习基线方法，包括DQN和Double DQN。
• 智能体学会了优先处理高流量方向，并根据实时拥堵情况动态调整信号相位。