[论文解读] An Efficient Deep Reinforcement Learning Model for Urban Traffic Control

Yilun Lin, Xingyuan Dai+2 more|arXiv (Cornell University)|Aug 6, 2018

Traffic control and management参考文献 7被引用 55

一句话总结

该论文提出了一种基于深度强化学习的高效城市交通控制系统，使用残差网络、混合奖励及 clipped PPO 来管理多路口信号时序，实现更快收敛和更高吞吐量。

ABSTRACT

Urban Traffic Control (UTC) plays an essential role in Intelligent Transportation System (ITS) but remains difficult. Since model-based UTC methods may not accurately describe the complex nature of traffic dynamics in all situations, model-free data-driven UTC methods, especially reinforcement learning (RL) based UTC methods, received increasing interests in the last decade. However, existing DL approaches did not propose an efficient algorithm to solve the complicated multiple intersections control problems whose state-action spaces are vast. To solve this problem, we propose a Deep Reinforcement Learning (DRL) algorithm that combines several tricks to master an appropriate control strategy within an acceptable time. This new algorithm relaxes the fixed traffic demand pattern assumption and reduces human invention in parameter tuning. Simulation experiments have shown that our method outperforms traditional rule-based approaches and has the potential to handle more complex traffic problems in the real world.

研究动机与目标

• 激励并解决使用无模型、数据驱动方法控制大规模 UTC 的挑战。
• 开发一个可扩展到多个路口、无需大量人工调参的 DRL 框架。
• 设计一个奖励与学习架构，使训练稳定并在局部目标与全局目标之间取得平衡。
• 在模拟的城市路网中展示快速收敛和实际的训练效率。

提出的方法

• 将交通数据格式化为 DRL 模型的二维张量输入。
• 采用以 ResNet 为基础的共享特征提取器的集中式 actor-critic DRL 架构。
• 使用将全局网络外流和局部路口平衡相结合的混合奖励，并逐步增加对全局奖励的强调。
• 采用带有广义优势估计（GAE）的 Advantage Actor-Critic（A2C）框架。
• 使用 clipped PPO 更新策略，以确保单调改进和稳定性。
• 利用并行多行动者训练、同步更新以及 Adam 优化以提高效率。

实验结果

研究问题

• RQ1 基于 DRL 的 UTC 控制器是否能够在不同需求水平下实现比定时控制和车辆触发控制更高的吞吐量和更低的等待时间？
• RQ2 将全局网络性能与局部路口平衡（混合奖励）结合是否会提高学习效率和最终性能？
• RQ3 基于 ResNet 的 DRL 模型结合 clipped PPO 是否能对大规模 UTC 问题实现快速收敛？
• RQ4 在未饱和、饱和和超载交通条件下，该方法的性能如何？

主要发现

• 在未饱和和饱和情景中，基于 DRL 的 UTC 在所测试的需求水平下优于定时控制和车辆触发控制。
• 平均交通系统吞吐量相比固定时间提升了 25.19%（对比固定时间）和 37.81%（对比车辆触发）。
• 平均等待时间下降了 18.68%（对比固定时间）和 28.54%（对比车辆触发）。
• 在评估的需求下，DRL 控制器在宏观基础图中产生的交通积累更低且增长更缓慢。
• 训练在不到 50 次迭代就收敛，完整训练在两块 GPU 工作站上约耗时 7 小时 30 分钟。
• 混合奖励（全局 + 局部平衡）在训练中显著优于仅使用全局奖励。