[论文解读] Deep Deterministic Policy Gradient for Urban Traffic Light Control

Noé Casas|arXiv (Cornell University)|Mar 27, 2017

Traffic control and management参考文献 31被引用 142

一句话总结

本论文应用 Deep Deterministic Policy Gradient (DDPG) 在城市尺度优化交通信号灯时序，通过利用深度学习来处理大状态-动作空间。它的实验覆盖从单个交叉口到大城市区段的模型。

ABSTRACT

Traffic light timing optimization is still an active line of research despite the wealth of scientific literature on the topic, and the problem remains unsolved for any non-toy scenario. One of the key issues with traffic light optimization is the large scale of the input information that is available for the controlling agent, namely all the traffic data that is continually sampled by the traffic detectors that cover the urban network. This issue has in the past forced researchers to focus on agents that work on localized parts of the traffic network, typically on individual intersections, and to coordinate every individual agent in a multi-agent setup. In order to overcome the large scale of the available state information, we propose to rely on the ability of deep Learning approaches to handle large input spaces, in the form of Deep Deterministic Policy Gradient (DDPG) algorithm. We performed several experiments with a range of models, from the very simple one (one intersection) to the more complex one (a big city section).

研究动机与目标

• 激励并解决在大型城市网络中优化交通信号灯时序的挑战。
• 探索使用深度强化学习来处理高维状态和动作空间。
• 开发一个可扩展的框架，利用探测器数据对交通信号灯进行整体控制。
• 评估从简单到大规模仿真中越来越复杂的网络配置下的性能。

提出的方法

• 采用 DDPG 以处理交通信号灯控制中的连续状态和动作空间。
• 使用探测器数据（车辆计数、速度、占用率）来形成丰富的状态表示。
• 定义一个受控动作空间，通过调整相位时长而不是单独灯色来尊重路口同步。
• 使用基于仿真的测试床（Aimsun）来评估不同网络尺度下的性能。
• 结合深度学习技术以处理大输入空间并实现整体控制。

实验结果

研究问题

• RQ1 利用完整版网络探测数据，基于 DDPG 的深度强化学习能否有效优化城市交通信号灯时序？
• RQ2 该方法在控制性能与稳定性方面如何从单个交叉口扩展到更大城市区段？
• RQ3 在大规模交通网络中，哪些表示与动作定义能实现可行且稳定的学习？
• RQ4 在接近实际场景的设置中部署此类方法时，需要考虑哪些实际要点（数据、聚合、状态、奖励）？

主要发现

• 证明了深度强化学习在跨不同网络尺度的城市交通信号灯整体控制中的适用性。
• 显示来自探测器数据的大规模状态表示可以在 DDPG 框架中使用。
• 提出一个保持相位同步、避免不稳定或混乱时序的实用动作空间。
• 提供了与现实世界探测器数据兼容的数据聚合、状态构造和奖励设计的结构化方法。
• 强调了使用微观仿真器（Aimsun）评估大规模交通灯控制与深度强化学习的可行性。