[论文解读] An Open-Source Framework for Adaptive Traffic Signal Control

Wade Genders, Saiedeh Razavi|arXiv (Cornell University)|Sep 1, 2019

Traffic control and management参考文献 61被引用 11

一句话总结

本文提出了一种与SUMO集成的开源仿真框架，用于开发和评估自适应交通信号控制器，涵盖传统方法（Webster、Max-pressure、SOTL）和深度强化学习模型（DQN、DDPG）。该框架支持系统的超参数调优与性能对比分析，结果表明在优化设置下，DQN和DDPG控制器优于经典方法。

ABSTRACT

Sub-optimal control policies in transportation systems negatively impact mobility, the environment and human health. Developing optimal transportation control systems at the appropriate scale can be difficult as cities' transportation systems can be large, complex and stochastic. Intersection traffic signal controllers are an important element of modern transportation infrastructure where sub-optimal control policies can incur high costs to many users. Many adaptive traffic signal controllers have been proposed by the community but research is lacking regarding their relative performance difference - which adaptive traffic signal controller is best remains an open question. This research contributes a framework for developing and evaluating different adaptive traffic signal controller models in simulation - both learning and non-learning - and demonstrates its capabilities. The framework is used to first, investigate the performance variance of the modelled adaptive traffic signal controllers with respect to their hyperparameters and second, analyze the performance differences between controllers with optimal hyperparameters. The proposed framework contains implementations of some of the most popular adaptive traffic signal controllers from the literature; Webster's, Max-pressure and Self-Organizing Traffic Lights, along with deep Q-network and deep deterministic policy gradient reinforcement learning controllers. This framework will aid researchers by accelerating their work from a common starting point, allowing them to generate results faster with less effort. All framework source code is available at https://github.com/docwza/sumolights.

研究动机与目标

• 解决仿真环境中缺乏标准化工具以比较自适应交通信号控制器的问题。
• 通过提供多种自适应控制模型的可重用、开源实现，加速研究进程。
• 研究超参数调优对不同算法控制器性能的影响。
• 在真实交通条件下，比较优化后自适应控制器的相对性能。
• 通过共享代码与仿真配置，支持智能交通系统研究的可复现性。

提出的方法

• 该框架将五种自适应交通信号控制器——Webster、Max-pressure、SOTL、DQN和DDPG——集成到SUMO交通微观仿真器中。
• 采用基于交叉口停止线前后150米范围内车辆队列和密度的状态表示方法。
• DQN和DDPG智能体使用深度神经网络，结合经验回放和目标网络以稳定训练过程。
• DQN使用目标Q值与预测Q值之间的均方误差作为损失函数，而DDPG采用独立的策略网络与价值网络，并通过策略梯度更新。
• 通过在绿灯阶段之间设置固定的2秒黄灯和3秒全红阶段来确保安全。
• 控制器在反映真实城市交通条件的标准化仿真环境中进行评估。

实验结果

研究问题

• RQ1 超参数调优如何影响不同自适应交通信号控制器的性能？
• RQ2 在超参数优化后，哪种自适应交通信号控制器能实现最低的平均延迟？
• RQ3 在最优设置下，深度强化学习控制器（DQN和DDPG）与经典启发式方法（Webster、Max-pressure、SOTL）相比表现如何？
• RQ4 状态观测范围（150米）对控制器性能与稳定性有何影响？
• RQ5 该框架能否实现跨多种交通信号控制算法的一致且可复现的基准测试？

主要发现

• 当超参数被优化后，DQN和DDPG控制器的平均延迟显著低于经典控制器。
• 控制器的性能差异对超参数设置高度敏感，尤其在DQN和DDPG中表现明显。
• SOTL控制器表现出较强性能，但在最优调优下仍逊于DQN和DDPG。
• Max-pressure和Webster控制器对超参数变化不敏感，但其延迟高于基于学习的模型。
• 该框架成功实现了所有控制器类型的一致且可复现的评估，验证了其在对比研究中的实用性。
• 安全阶段（黄灯与全红）的引入防止了冲突，确保了所有控制器类型的稳定运行。