[论文解读] Gamma-Reward: A Novel Multi-Agent Reinforcement Learning Method for Traffic Signal Control.

Junjia Liu, Huimin Zhang+2 more|arXiv (Cornell University)|Feb 27, 2020

Traffic control and management被引用 2

一句话总结

本文提出Gamma-Reward，一种用于交通信号控制的新型多智能体强化学习框架，通过利用经验回放缓冲区信息进行时空奖励塑造，增强了智能体间的协调性。该框架在无需集中式训练的情况下实现了最先进性能，其基于时间-空间差异化的去中心化、可扩展协调机制已被证明可收敛至纳什均衡。

ABSTRACT

The intelligent control of the traffic signal is critical to the optimization of transportation systems. To achieve global optimal traffic efficiency in large-scale road networks, recent works have focused on coordination among intersections, which have shown promising results. However, existing studies paid more attention to observations sharing among intersections (both explicit and implicit) and did not care about the consequences after decisions. In this paper, we design a multiagent coordination framework based on Deep Reinforcement Learning methods for traffic signal control, defined as {\gamma}-Reward that includes both original {\gamma}-Reward and {\gamma}-Attention-Reward. Specifically, we propose the Spatial Differentiation method for coordination which uses the temporal-spatial information in the replay buffer to amend the reward of each action. A concise theoretical analysis that proves the proposed model can converge to Nash equilibrium is given. By extending the idea of Markov Chain to the dimension of space-time, this truly decentralized coordination mechanism replaces the graph attention method and realizes the decoupling of the road network, which is more scalable and more in line with practice. The simulation results show that the proposed model remains a state-of-the-art performance even not use a centralized setting. Code is available in this https URL Reward.

研究动机与目标

• 解决现有多智能体交通信号控制方法仅关注观测共享，而忽视动作后果的局限性。
• 开发一种去中心化的协调机制，以实现可扩展且实用的交通网络优化。
• 设计一种奖励塑造方法，结合经验回放缓冲区中的时间与空间信息，以提升决策能力。
• 在所提框架下，理论上证明收敛至纳什均衡。
• 在大规模交通网络中实现最先进性能，且无需集中式训练或图注意力机制。

提出的方法

• 提出一种新颖的奖励机制，称为γ-奖励，包括原始γ-奖励与γ-注意力-奖励，以基于时空上下文塑造奖励。
• 引入空间差异化方法，利用经验回放缓冲区中存储的时间-空间信息，动态调整每个智能体动作的奖励。
• 将马尔可夫链概念扩展至时空维度，实现在不依赖图注意力或集中式计算的情况下实现去中心化协调。
• 设计一种真正去中心化的框架，解耦道路网络，从而提升可扩展性与实用性。
• 制定理论分析，证明在给定条件下，所提方法可收敛至纳什均衡。
• 采用深度强化学习结合经验回放实现该方法，确保训练的稳定与高效。

实验结果

研究问题

• RQ1 如何通过超越观测共享的动作后果整合，改进多智能体交通信号控制？
• RQ2 基于时空奖励塑造的去中心化协调机制是否能优于集中式或图注意力基方法？
• RQ3 所提出的γ-奖励框架在多智能体交通控制设置中是否收敛至纳什均衡？
• RQ4 该方法在无需集中式训练或显式图注意力机制的情况下，能在多大程度上维持最先进性能？
• RQ5 从经验回放缓冲区整合的时间-空间信息如何增强大规模道路网络中的协调性与可扩展性？

主要发现

• 所提出的γ-奖励框架即使在无集中式训练设置下，也实现了交通信号控制的最先进性能。
• 空间差异化方法通过利用经验回放缓冲区中的时空信息来塑造奖励，有效提升了协调性。
• 理论分析证实该方法可收敛至纳什均衡，确保多智能体设置下学习的稳定性。
• 该框架以扩展的时空马尔可夫链替代图注意力机制，实现了真正的去中心化与可扩展性提升。
• 仿真结果表明，该方法在大规模道路网络中保持高性能，效率与可扩展性优于现有方法。
• 由于其去中心化特性及对全局信息依赖度降低，该方法在实际部署中更具实用性。