[論文レビュー] Gamma-Reward: A Novel Multi-Agent Reinforcement Learning Method for Traffic Signal Control.

Junjia Liu, Huimin Zhang+2 more|arXiv (Cornell University)|Feb 27, 2020

Traffic control and management被引用数 2

ひとこと要約

本稿では、リプレイバッファの情報を用いた時空間的報酬形状付けを通じて協調性を向上させる、交通信号制御のための新規なマルチエージェント強化学習フレームワーク、Gamma-Rewardを提案する。分散型でスケーラブルな協調メカニズムを用いることで、中央集権的トレーニングを必要とせずに最先端の性能を達成し、ナッシュ均衡に収束することが示された。

ABSTRACT

The intelligent control of the traffic signal is critical to the optimization of transportation systems. To achieve global optimal traffic efficiency in large-scale road networks, recent works have focused on coordination among intersections, which have shown promising results. However, existing studies paid more attention to observations sharing among intersections (both explicit and implicit) and did not care about the consequences after decisions. In this paper, we design a multiagent coordination framework based on Deep Reinforcement Learning methods for traffic signal control, defined as {\gamma}-Reward that includes both original {\gamma}-Reward and {\gamma}-Attention-Reward. Specifically, we propose the Spatial Differentiation method for coordination which uses the temporal-spatial information in the replay buffer to amend the reward of each action. A concise theoretical analysis that proves the proposed model can converge to Nash equilibrium is given. By extending the idea of Markov Chain to the dimension of space-time, this truly decentralized coordination mechanism replaces the graph attention method and realizes the decoupling of the road network, which is more scalable and more in line with practice. The simulation results show that the proposed model remains a state-of-the-art performance even not use a centralized setting. Code is available in this https URL Reward.

研究の動機と目的

• 観測情報の共有に注目する既存のマルチエージェント交通信号制御手法が、行動の結果を無視するという限界を是正する。
• スケーラブルで実用的な交通網最適化を可能にする分散型協調メカニズムを開発する。
• リプレイバッファからの時空間的情報を統合した報酬形状付け手法を設計し、意思決定を改善する。
• 提案されたフレームワーク下でナッシュ均衡への収束を理論的に証明する。
• 中央集権的トレーニングやグラフアテンション機構を必要とせずに、大規模交通網で最先端の性能を達成する。

提案手法

• 時空間的文脈に基づいて報酬を形状付ける新しい報酬メカニズムγ-Reward（オリジナルのγ-Rewardとγ-Attention-Rewardを含む）を提案する。
• リプレイバッファに格納された時空間的情報を活用して、各エージェントの行動報酬を動的に調整する空間的差分法を導入する。
• 空間時間次元を含むようにマルコフ連鎖の概念を拡張し、グラフアテンションや中央集権的計算に依存せずに分散型協調を実現する。
• 道路網を完全に分離することで、スケーラビリティと実用性を高めた真正の分散型フレームワークを設計する。
• 与えられた条件下で、提案手法がナッシュ均衡に収束することを理論的分析で証明する。
• 経験リプレイを用いた深層強化学習による実装により、安定的かつ効率的な学習を可能にする。

実験結果

リサーチクエスチョン

• RQ1 観測情報の共有を超えて行動の結果を組み込むことで、マルチエージェント交通信号制御はどのように改善できるか？
• RQ2 時空間的報酬形状付けに基づく分散型協調メカニズムは、中央集権的またはグラフアテンションベースの手法よりも優れた性能を達成できるか？
• RQ3 提案されたγ-Rewardフレームワークは、マルチエージェント交通制御設定においてナッシュ均衡に収束するか？
• RQ4 中央集権的トレーニングや明示的なグラフアテンションを必要としない場合、この手法はどの程度最先端の性能を維持できるか？
• RQ5 リプレイバッファからの時空間的情報の統合は、大規模な道路網における協調性とスケーラビリティをどのように向上させるか？

主な発見

• 提案されたγ-Rewardフレームワークは、中央集権的トレーニング環境がなくても、交通信号制御で最先端の性能を達成した。
• 空間的差分法は、リプレイバッファからの時空間的情報を活用して報酬を形状付けることで、協調性を効果的に向上させた。
• 理論的分析により、手法がナッシュ均衡に収束することが確認され、マルチエージェント環境における安定学習が保証された。
• フレームワークは、グラフアテンション機構を空間時間拡張マルコフ連鎖に置き換えることで、真正の分散化とスケーラビリティの向上を実現した。
• シミュレーション結果から、大規模な交通網においても高い性能を維持し、従来の手法を効率性とスケーラビリティの面で上回ることが示された。
• 分散型の性質とグローバル情報への計算依存の低減により、実世界への実装がより実用的であることが分かった。