[论文解读] Adaptive Traffic Signal Control with Deep Reinforcement Learning An Exploratory Investigation

Matthew Muresan, Liping Fu+1 more|arXiv (Cornell University)|Jan 4, 2019

Traffic control and management参考文献 14被引用 15

一句话总结

本文提出了一种基于深度强化学习（DRL）的交通信号控制模型，采用一种新颖的状态空间，整合了每日时间、星期几、信号相位和排队长度，以优化信号配时。在九周的仿真评估中，与半感应控制相比，该模型将平均延迟降低了32%，与定时控制相比降低了37%，展示了DRL在自适应交通管理方面的强大潜力。

ABSTRACT

This paper presents the results of a new deep learning model for traffic signal control. In this model, a novel state space approach is proposed to capture the main attributes of the control environment and the underlying temporal traffic movement patterns, including time of day, day of the week, signal status, and queue lengths. The performance of the model was examined over nine weeks of simulated data on a single intersection and compared to a semi-actuated and fixed time traffic controller. The simulation analysis shows an average delay reductions of 32% when compared to actuated control and 37% when compared to fixed time control. The results highlight the potential for deep reinforcement learning as a signal control optimization method.

研究动机与目标

• 开发一种用于自适应交通信号控制的深度强化学习框架，能够动态响应实时交通状况。
• 设计一种全面的状态空间表示方法，以捕捉交叉口的时间模式和排队动态。
• 在真实的仿真环境中，评估DRL模型相对于传统定时控制和半感应信号控制策略的性能。
• 评估深度强化学习作为城市交通优化可扩展且高效解决方案的潜力。
• 为单交叉口场景中使用DRL实现延迟降低和交通流改善提供实证证据。

提出的方法

• 该模型采用深度Q网络（DQN）智能体，基于自定义状态空间学习最优的信号相位切换。
• 状态空间包括每日时间、星期几、当前信号相位以及交叉口各进口道的实时排队长度。
• 动作空间由信号相位切换组成，智能体选择下一相位以最小化累积延迟。
• 设计了奖励函数，对车辆延迟和排队累积进行惩罚，以鼓励车辆高效通过交叉口。
• 使用单个孤立交叉口的九周仿真交通数据对模型进行训练和评估。
• 在相同仿真条件下，将性能与定时控制和半感应信号控制策略进行基准对比。

实验结果

研究问题

• RQ1 深度强化学习智能体是否能够有效学习在动态、实时环境中控制交通信号？
• RQ2 所提出的基于DRL的控制器与传统定时控制和半感应控制相比，在延迟降低方面表现如何？
• RQ3 在状态空间中整合时间与基于排队的特征在多大程度上提升了控制性能？
• RQ4 DRL方法在多交叉口或网络级交通控制中的可扩展性潜力如何？
• RQ5 该模型在不同交通模式下（包括高峰和非高峰时段）是否表现出鲁棒性？

主要发现

• 与半感应信号控制相比，基于DRL的控制器实现了32%的平均延迟降低。
• 在九周的仿真周期内，与定时信号控制相比，该模型将平均延迟降低了37%。
• 性能提升在一天中不同时间段和不同星期几中均保持一致，表明其具有良好的适应性。
• 状态空间设计（包括每日时间、星期几、信号相位和排队长度）显著提升了模型的学习效率和性能。
• 结果表明，深度强化学习能够有效优化复杂、动态交通环境中的信号配时。
• 仿真结果表明，基于DRL的控制方法在最小化延迟和提升孤立交叉口交通流方面优于传统方法。