[論文レビュー] STMARL: A Spatio-Temporal Multi-Agent Reinforcement Learning Approach for Cooperative Traffic Light Control

Yanan Wang, Tong Xu+4 more|arXiv (Cornell University)|Aug 28, 2019

Traffic control and management参考文献 66被引用数 11

ひとこと要約

本稿では、空間的依存関係を方向性を持つ信号機隣接グラフでモデル化し、時間的依存関係を再帰ニューラルネットワーク（RNN）で扱う、協調的信号機制御を目的とした空間時間的マルチエージェント強化学習フレームワーク、STMARLを提案する。グラフニューラルネットワークとディープQ学習を統合することで、交差点間で分散的かつ協調的な意思決定が可能となり、合成的および実世界の評価において平均遅延とキュー長を顕著に低減した。ヘフェイデータセットでは平均遅延が174.47秒にとどまり、先行手法を上回った性能を示した。

ABSTRACT

The development of intelligent traffic light control systems is essential for smart transportation management. While some efforts have been made to optimize the use of individual traffic lights in an isolated way, related studies have largely ignored the fact that the use of multi-intersection traffic lights is spatially influenced and there is a temporal dependency of historical traffic status for current traffic light control. To that end, in this paper, we propose a novel SpatioTemporal Multi-Agent Reinforcement Learning (STMARL) framework for effectively capturing the spatio-temporal dependency of multiple related traffic lights and control these traffic lights in a coordinating way. Specifically, we first construct the traffic light adjacency graph based on the spatial structure among traffic lights. Then, historical traffic records will be integrated with current traffic status via Recurrent Neural Network structure. Moreover, based on the temporally-dependent traffic information, we design a Graph Neural Network based model to represent relationships among multiple traffic lights, and the decision for each traffic light will be made in a distributed way by the deep Q-learning method. Finally, the experimental results on both synthetic and real-world data have demonstrated the effectiveness of our STMARL framework, which also provides an insightful understanding of the influence mechanism among multi-intersection traffic lights.

研究の動機と目的

• 複数交差点都市交通における空間的および時間的依存関係を無視する孤立型信号機制御の限界を是正すること。
• 道路網のトポロジーに基づく方向性を持つ隣接グラフを用いて、信号機間の相互影響をモデル化すること。
• 再帰ニューラルネットワーク（RNN）を用いて、歴史的交通パターンをリアルタイム意思決定に統合し、時間的依存関係をモデル化すること。
• グラフニューラルネットワークとディープQ学習を用いて、複数の信号機にわたる分散的で協調的な制御を可能にすること。
• 合成的および実世界の交通シナリオにおいて、混雑の低減と交通の円滑化を実現するフレームワークの有効性を評価すること。

提案手法

• 道路網の空間的トポロジーに基づき、方向性を持つ信号機隣接グラフを構築し、交差点間の空間的関係を表現する。
• 現在の状態と歴史的交通データを再帰ニューラルネットワーク（RNN）で統合し、交通フローにおける時間的依存関係を捉える。
• グラフニューラルネットワーク（GNN）を用いて、信号機間の協調的関係をモデル化し、隣接グラフに沿ったメッセージパッシングを可能にする。
• 各信号機における分散的意思決定にディープQ学習を採用し、GNNで処理された空間時間的状態表現に基づく行動選択を行う。
• 平均遅延とキュー長を最小化するマルチエージェント強化学習の目的関数を用いて、エンドツーエンドのフレームワークを訓練する。
• GNNにおけるアテンションメカニズムを活用し、リアルタイムの交通量に基づいて隣接交差点からの影響を動的に重みづける。

実験結果

リサーチクエスチョン

• RQ1 マルチエージェント強化学習フレームワークにおいて、複数の信号機間の空間時間的依存関係をどのように効果的にモデル化できるか？
• RQ2 歴史的交通パターンを統合することで、信号機制御方策の性能はどの程度向上するか？
• RQ3 信号機の隣接関係をグラフベースで表現することで、複数交差点における協調性の向上と混雑の低減が図れるか？
• RQ4 提案されたSTMARLフレームワークは、遅延、キュー長、グリーンウェーブの出現という観点から、既存手法と比較してどのように差をつけるか？
• RQ5 GNNにおけるアテンションメカニズムが、隣接交差の動的影響に関してどのようなインサイトを提供するか？

主な発見

• STMARLは、ヘフェイ実世界データセットにおいて平均遅延36.10秒を達成し、Colight（273.92秒）やGCN-inter（62.74秒）を著しく上回った。
• 平均キュー長は26.14台にまで低下し、Colightの194.84台やGCN-interの35.88台と比較して、混雑緩和の優位性が明確に示された。
• GNNにおけるアテンション重みはリアルタイムの交通量と動的に一致し、より多くの車両が流入する方向に高い注目を向ける傾向を示しており、適応的協調の有効性が裏付けられた。
• 南-北方向に連続するグリーンフェーズが観察されたことから、複数交差点にわたるグリーンウェーブの出現が確認され、信号機間の効果的な協調が実現した。
• グリーンウェーブにより、個々の交差点におけるピーク時の車両蓄積が低減され、コロナルに沿った滑らかで高速な交通進行が可能になった。
• 定性的分析から、信号機エージェントが後続の交通状況、特に高流量の近隣交差点の影響を受けてフェーズを調整していることが確認された。