[論文レビュー] A Traffic Light Dynamic Control Algorithm with Deep Reinforcement Learning Based on GNN Prediction

Xiaorong Hu, Chenguang Zhao+1 more|arXiv (Cornell University)|Sep 29, 2020

Traffic Prediction and Management Techniques参考文献 20被引用数 11

ひとこと要約

本稿では、グラフニューラルネットワーク（GNN）を用いた交通流予測と動的交通信号制御を統合することで、複数交差点都市ネットワークにおける混雑を低減する、深層強化学習アルゴリズムGPlightを提案する。短期的な交通状況を予測し、予測値とリアルタイムデータの両方を用いて緑色信号のタイミングと持続時間を最適化することで、GPlightはネットワークスループットを向上させ、遅延を低減する。これは、杭州およびニューヨークの合成データおよび実世界データを用いた検証で確認された。

ABSTRACT

Today's intelligent traffic light control system is based on the current road traffic conditions for traffic regulation. However, these approaches cannot exploit the future traffic information in advance. In this paper, we propose GPlight, a deep reinforcement learning (DRL) algorithm integrated with graph neural network (GNN) , to relieve the traffic congestion for multi-intersection intelligent traffic control system. In GPlight, the graph neural network (GNN) is first used to predict the future short-term traffic flow at the intersections. Then, the results of traffic flow prediction are used in traffic light control, and the agent combines the predicted results with the observed current traffic conditions to dynamically control the phase and duration of the traffic lights at the intersection. Experiments on both synthetic and two real-world data-sets of Hangzhou and New-York verify the effectiveness and rationality of the GPlight algorithm.

研究の動機と目的

• 現在の交通状態に依存する伝統的な交通信号制御システムの限界、すなわち将来の混雑リスクを無視する点を是正する。
• 予測制御により、将来的な混雑を事前に緩和することで、都市交通の効率を向上させる。
• 複雑な道路網構造をモデル化し、短期的な交通流を予測するためにグラフニューラルネットワーク（GNN）を統合する。
• リアルタイム観測と予測交通状況の両方を組み合わせた動的交通信号制御戦略を開発し、緑色信号の位相と持続時間を最適化する。
• 杭州およびニューヨークの合成および実世界交通データを用いて、提案手法の有効性を実証する。

提案手法

• 道路網内の空間的および構造的関係をモデル化するため、グラフニューラルネットワーク（GNN）を用い、交差点間での交通流パターンを捉える。
• 歴史的交通データを用いてGNNを学習させ、各交差点における将来的な短期交通量を予測する。
• 予測された交通流とリアルタイム交通観測値を統合し、強化学習のための包括的な状態表現を形成する。
• 深層Qネットワーク（DQN）を用いて、統合状態に基づき最適な交通信号位相と持続時間を動的に選択する。
• 車両の遅延を低減し、ネットワークスループットを向上させるよう報酬関数を設計する。
• 予測された車両数に応じて緑色信号の持続時間を最適化し、予測される交通量の高い方向を優先することで、バックログを防止する。

実験結果

リサーチクエスチョン

• RQ1 現在状態のみに依存する反応的制御手法と比較して、将来の交通流予測を交通信号制御に統合することで、都市交通の効率が向上するか？
• RQ2 GNNを用いたアプローチは、都市交通網における時間的・空間的依存関係を短期予測においてどれほど的確に捉えられるか？
• RQ3 予測された交通データとリアルタイム交通データを統合することで、複数交差における強化学習の性能がどの程度向上するか？
• RQ4 実世界の交通データを用いた場合、提案されたGPlightアルゴリズムはベースライン手法と比較して、スループット向上および遅延低減の点でどの程度優れているか？
• RQ5 予測遅延が制御性能に与える影響は何か？また、履歴データを活用することで、このような遅延をどのように緩和できるか？

主な発見

• GPlightは、現在の交通状態にのみ依存するベースライン強化学習手法と比較して、ネットワークスループットを顕著に向上させるとともに、平均車両遅延を低減した。
• GNNベースの交通流予測モデルは、将来の交通流の一般的なトレンドを捉えているが、急激な交通増加にはやや遅れて反応する傾向があり、これは明確ではあるが許容可能な遅延である（例：手動での流量供給後、予測が約200秒遅れる）。
• アルゴリズムは、流入する交通量の多い方向（杭州では「WE」、ニューヨークでは「NS」）に対して緑色信号の持続時間を動的に延長し、これがスループットの向上とバックログの低減と相関している。
• 重交通が到着する前には、GPlightは混雑が少ない方向に優先的に緑色時間を割り当て、既存の車両を早期に通過させることで、不必要な待機を回避し、性能ギャップの悪化を防いでいる。
• 予測精度は履歴データの有無に依存し、前日や前週のデータを活用することで、予測遅延が短縮され、交通ピークへの対応速度が向上する。
• 合成データおよび実世界データ（杭州およびニューヨーク）を用いた実験により、アルゴリズムのロバストネスと異なる都市の交通パターンへの汎用性が確認された。