[論文レビュー] Adaptive Traffic Signal Control with Deep Reinforcement Learning An Exploratory Investigation

Matthew Muresan, Liping Fu+1 more|arXiv (Cornell University)|Jan 4, 2019

Traffic control and management参考文献 14被引用数 15

ひとこと要約

本論文は、時刻、曜日、信号フェーズ、およびキュー長を組み込んだ独創的な状態空間を用いて信号タイミングを最適化する、深層強化学習（DRL）ベースの交通信号制御モデルを提案する。9週間のシミュレーションで評価された結果、半自動制御と比較して平均遅れを32%削減し、固定時刻制御と比較しては37%削減した。これは、DRLが適応的交通管理分野において強い潜在能力を有することを示している。

ABSTRACT

This paper presents the results of a new deep learning model for traffic signal control. In this model, a novel state space approach is proposed to capture the main attributes of the control environment and the underlying temporal traffic movement patterns, including time of day, day of the week, signal status, and queue lengths. The performance of the model was examined over nine weeks of simulated data on a single intersection and compared to a semi-actuated and fixed time traffic controller. The simulation analysis shows an average delay reductions of 32% when compared to actuated control and 37% when compared to fixed time control. The results highlight the potential for deep reinforcement learning as a signal control optimization method.

研究の動機と目的

• リアルタイムの交通状況に動的に応じる適応的交通信号制御のための深層強化学習フレームワークを開発すること。
• 交差点における時間的パターンとキュー動態を捉える包括的な状態空間表現を設計すること。
• 現実的なシミュレーション環境において、従来の固定時刻制御および半自動制御戦略と比較してDRLモデルの性能を評価すること。
• 深層強化学習が都市交通最適化のスケーラブルで効率的なソリューションとしての可能性を評価すること。
• 単一交差点シナリオにおけるDRLを用いた遅れ削減と交通流の改善に関する実証的証拠を提供すること。

提案手法

• モデルは、カスタム状態空間に基づいて最適な信号フェーズ遷移を学習するための深層Qネットワーク（DQN）エージェントを採用する。
• 状態空間には、時刻、曜日、現在の信号フェーズ、および交差点への各アプローチにおけるリアルタイムのキュー長が含まれる。
• 行動空間は信号フェーズの変更から構成され、エージェントは累積遅れを最小化する次なるフェーズを選択する。
• 報酬関数は、車両の遅れとキューの蓄積をペナルティ化するように設計されており、交差点を効率的に通過するよう促進する。
• モデルは、単一の分離された交差点の9週間分のシミュレーテッド交通データを用いて訓練および評価される。
• 性能は、同一のシミュレーション条件下で固定時刻制御および半自動制御戦略と比較してベンチマークされる。

実験結果

リサーチクエスチョン

• RQ1 深層強化学習エージェントは、動的でリアルタイムな環境において交通信号を効果的に制御することを学習できるか？
• RQ2 提案されたDRLベースのコントローラーは、従来の固定時刻制御および半自動制御と比較して、遅れ削減においてどのように差をつけるか？
• RQ3 状態空間に時間的およびキューに基づく特徴を組み込むことで、制御性能はどの程度向上するか？
• RQ4 DRLアプローチは、複数交差点またはネットワークレベルの交通制御にどの程度スケーラブルか？
• RQ5 モデルは、ピーク時刻および非ピーク時刻を含むさまざまな交通パターンにおいて、頑健性を示すか？

主な発見

• DRLベースのコントローラーは、半自動信号制御と比較して平均32%の車両遅れ削減を達成した。
• 9週間のシミュレーション期間中、固定時刻信号制御と比較して平均遅れを37%削減した。
• 性能の向上は、1日中のさまざまな時間帯および曜日において一貫しており、適応性の高さが示された。
• 時刻、曜日、信号フェーズ、キュー長を組み込んだ状態空間設計が、モデルの学習効率と性能に顕著な貢献をした。
• 結果から、深層強化学習が複雑で動的な交通環境における信号タイミング最適化に効果的に機能できることを示している。
• シミュレーション結果から、DRLベースの制御が、孤立した交差点における遅れの最小化と交通流の改善において、従来手法を上回ることを示唆している。