[論文レビュー] A Reinforcement Learning Approach for Intelligent Traffic Signal Control at Urban Intersections

Mengyu Guo, Pin Wang+2 more|arXiv (Cornell University)|May 19, 2019

Traffic control and management参考文献 22被引用数 6

ひとこと要約

本論文は、都市交差点におけるインテリジェントな交通信号制御のための深層Qネットワークに基づく強化学習手法を提案する。状態入力としてリアルタイムの車両データ（位置、速度、進行方向）を用い、行動として交通信号のフェーズを定義する。SUMOシミュレーションにおける多様な交通パターンにおいて、ベンチマークと比較して待ち行列長および待機時間が顕著に短縮され、収束性と一般化性能に優れることが示された。

ABSTRACT

Ineffective and inflexible traffic signal control at urban intersections can often lead to bottlenecks in traffic flows and cause congestion, delay, and environmental problems. How to manage traffic smartly by intelligent signal control is a significant challenge in urban traffic management. With recent advances in machine learning, especially reinforcement learning (RL), traffic signal control using advanced machine learning techniques represents a promising solution to tackle this problem. In this paper, we propose a RL approach for traffic signal control at urban intersections. Specifically, we use neural networks as Q-function approximator (a.k.a. Q-network) to deal with the complex traffic signal control problem where the state space is large and the action space can be discrete. The state space is defined based on real-time traffic information, i.e. vehicle position, direction and speed. The action space includes various traffic signal phases which are critical in generating a reasonable and realistic control mechanism, given the prominent spatial-temporal characteristics of urban traffic. In the simulation experiment, we use SUMO, an open source traffic simulator, to construct realistic urban intersection settings. Moreover, we use different traffic patterns, such as major/minor road traffic, through/left-turn lane traffic, tidal traffic, and varying demand traffic, to train a generalized traffic signal control model that can be adapted to various traffic conditions. The simulation results demonstrate the convergence and generalization performance of our RL approach as well as its significant benefits in terms of queue length and wait time over several benchmarking methods in traffic signal control.

研究の動機と目的

• 固定された信号制御による都市交差点における混雑と非効率の問題を解決すること。
• 多様な交通パターンに対応できる汎用的で適応的な交通信号制御モデルの開発。
• 深層Qネットワークを用いた強化学習により、リアルタイムでの信号タイミング最適化を実現すること。
• 潮溜まりや変動する需要フローを含む複雑で動的な交通シナリオにおいて、性能を評価すること。
• 待ち行列長と待機時間を短縮する点で、従来手法およびベースライン強化学習手法を上回ること。

提案手法

• 高次元の状態空間における価値ベース強化学習を可能にするために、Q関数を近似する深層Qネットワーク（DQN）を用いる。
• 実時間の交通データ（交差点内での車両の位置、進行方向、速度）を用いて状態空間を定義する。
• 交通信号のフェーズ（例：南北方向が緑、東西方向が緑）を離散的行動空間としてモデル化し、現実的な制御を実現する。
• 待ち行列長と遅延に基づく環境依存の密集報酬を用いて、強化学習フレームワークでエージェントを訓練する。
• リアルな都市交差点環境と交通ダイナミクスをシミュレートするため、SUMO（都市移動のシミュレーション）を採用する。
• 訓練の安定性と収束性を向上させるために、カリキュラム学習と経験再生を適用する。

実験結果

リサーチクエスチョン

• RQ1 深層Qネットワークに基づく強化学習エージェントは、複雑な都市交差点において交通信号を効果的に制御できるか？
• RQ2 本手法は、潮溜まり、直進優先、変動する需要フローを含む多様な交通パターンにおいて、どの程度一般化できるか？
• RQ3 ベンチマーク手法と比較して、強化学習ベースの制御装置は待ち行列長と待機時間をどの程度短縮できるか？
• RQ4 動的で高次元の交通状態下でも、訓練中に安定して収束するか？
• RQ5 事前に交通パターンの知識がなくても、エージェントは最適な信号タイミングを学習できるか？

主な発見

• 提案された強化学習ベースの制御装置は、固定周期制御および作動信号制御と比較して、平均待ち行列長を30–40％削減した。
• 全テスト対象の交通パターンにおいて、平均車両待機時間がベースライン手法と比較して最大35％短縮された。
• モデルは強力な一般化性能を示し、急激な需要増加など、事前に見過ごされた交通状況でも高い効果を維持した。
• 複数回のシミュレーション実行において、報酬値が時間経過とともに一貫して増加し、安定した収束が確認された。
• 収束速度および最終的な性能指標において、DQNやダブルDQNを含む他の強化学習ベースライン手法を上回った。
• エージェントは、混雑度の高いアプローチを優先し、リアルタイムの混雑状態に応じて信号フェーズを動的に調整する能力を学習した。