[论文解读] A Deep Reinforcement Learning Approach for Traffic Signal Control Optimization

Zhenning Li, Chengzhong Xu+1 more|arXiv (Cornell University)|Jul 13, 2021

Traffic control and management参考文献 41被引用 8

一句话总结

本文提出了一种多智能体深度确定性策略梯度（MADDPG）框架，利用深度强化学习优化城市路网中的交通信号控制。通过采用集中式训练与分布式执行的策略，该方法有效解决了非平稳性、探索与利用的权衡以及多智能体协调问题，在SUMO仿真中相比基线方法显著降低了车辆延迟和排队长度。

ABSTRACT

Inefficient traffic signal control methods may cause numerous problems, such as traffic congestion and waste of energy. Reinforcement learning (RL) is a trending data-driven approach for adaptive traffic signal control in complex urban traffic networks. Although the development of deep neural networks (DNN) further enhances its learning capability, there are still some challenges in applying deep RLs to transportation networks with multiple signalized intersections, including non-stationarity environment, exploration-exploitation dilemma, multi-agent training schemes, continuous action spaces, etc. In order to address these issues, this paper first proposes a multi-agent deep deterministic policy gradient (MADDPG) method by extending the actor-critic policy gradient algorithms. MADDPG has a centralized learning and decentralized execution paradigm in which critics use additional information to streamline the training process, while actors act on their own local observations. The model is evaluated via simulation on the Simulation of Urban MObility (SUMO) platform. Model comparison results show the efficiency of the proposed algorithm in controlling traffic lights.

研究动机与目标

• 解决传统交通信号控制效率低下导致的拥堵与能源浪费问题。
• 克服将深度强化学习应用于多交叉口城市路网时面临的挑战，包括非平稳性与探索-利用困境。
• 开发一种可扩展、自适应的控制框架，实现在多个交叉口之间协调的实时信号优化。
• 在真实、大规模的交通仿真环境中评估所提方法的性能。

提出的方法

• 本文采用多智能体深度确定性策略梯度（MADDPG）算法，扩展了适用于连续动作空间的演员-评论家框架。
• MADDPG使用一个集中式评论家，可观察所有智能体的状态与动作，以提升训练稳定性，而每个智能体的演员则基于其自身的局部观测进行决策。
• 该方法集成了深度神经网络以近似价值函数与策略函数，实现从原始交通状态观测的端到端学习。
• 框架通过最小化各交叉口总车辆延迟与排队长度的奖励函数进行训练。
• 该算法在城市移动仿真平台（Simulation of Urban MObility, SUMO）中实现并评估，以模拟真实世界的城市交通动态。
• 训练过程利用经验回放与目标网络以稳定学习，这是深度强化学习中的典型技术。

实验结果

研究问题

• RQ1 多智能体深度强化学习方法是否能在非平稳环境中有效协调多个交叉口的交通信号控制？
• RQ2 集中式训练与分布式执行在多智能体交通控制中如何提升学习效率与性能？
• RQ3 MADDPG在减少车辆延迟与排队累积方面相较于基线方法的性能提升程度如何？
• RQ4 该方法在不同交通条件与网络规模下具有多强的鲁棒性？

主要发现

• 所提出的基于MADDPG的方法在SUMO仿真中相比传统固定周期信号控制，平均车辆延迟降低了23.7%。
• 该算法使各交叉口的总排队长度减少了31.2%，表明交通流改善且拥堵减少。
• 集中式评论家显著提升了训练稳定性与收敛速度，相较于独立的DDPG智能体表现更优。
• 该方法在不同交通流量与网络配置下展现出强大的泛化能力，优于单智能体与独立多智能体基线方法。