[論文レビュー] A Survey on Traffic Signal Control Methods

Hua Wei, Guanjie Zheng+2 more|arXiv (Cornell University)|Apr 17, 2019

Traffic control and management参考文献 65被引用数 177

ひとこと要約

この調査は交通信号制御における古典的な交通工学的方法と強化学習アプローチをレビューし、単一エージェントおよびマルチエージェント設定の問題定式化、方法、RLの基盤を詳述する。

ABSTRACT

Traffic signal control is an important and challenging real-world problem, which aims to minimize the travel time of vehicles by coordinating their movements at the road intersections. Current traffic signal control systems in use still rely heavily on oversimplified information and rule-based methods, although we now have richer data, more computing power and advanced methods to drive the development of intelligent transportation. With the growing interest in intelligent transportation using machine learning methods like reinforcement learning, this survey covers the widely acknowledged transportation approaches and a comprehensive list of recent literature on reinforcement for traffic signal control. We hope this survey can foster interdisciplinary research on this important topic.

研究の動機と目的

• 伝統的な交通工学的方法とそれらの仮定を要約する。
• 実世界の動的な交通に直面した場合のルールベースおよび最適化ベースのアプローチの限界を強調する。
• 交通信号制御の強化学習の基礎を紹介し、単一エージェントとマルチエージェントの定式化を比較する。
• RLベースの交通信号制御のデータ、状態表現、報酬設計についての指針を提供する。

提案手法

• Webster、GreenWave、Maxband、Actuated、SOTL、Max-pressure、SCATS の入力、出力、制約を含む古典的手法を調査する。
• 巡回ベースのタイミング、オフセット、バンド幅の概念を協調信号のために説明する。
• MDP、Q-learning、マルチエージェント設定の確率的ゲームを含む交通信号制御のRLフレームワークを提示する。
• RLが孤立および複数交差点のシナリオで状態、行動、報酬、遷移ダイナミクスをどのように統合するかを説明する。

実験結果

リサーチクエスチョン

• RQ1 交通信号制御の伝統的な最適化ベースおよびルールベースアプローチとそれらの限界は何か？
• RQ2 単一交差点および複数交差点の交通信号制御のために強化学習をどのように定式化できるか、そして主要な設計選択（状態、行動、報酬）は何か？
• RQ3 RLベースの交通信号制御の実践的なデータ源とモデリング上の考慮事項は何か？
• RQ4 協調ネットワーク交通信号制御への適用としてマルチエージェントRLフレームワーク（確率的ゲーム）はどう機能するか？
• RQ5 RLベースの手法と古典的な交通方法とのベンチマークまたは比較は何があるか？

主な発見

• 調査は古典的手法をデータ入力と出力に対応付け、固定時間または作動型戦略がいつ用いられるかを明確にする。
• GreenWaveとMaxbandは循環長の制約と協調信号の帯域幅に基づく進行を示す。
• ActuatedおよびSOTLはリアルタイムに位相を適応させるために要求と閾値に依存する一方、Max-pressureは待ち行列の圧力均衡によってネットワークスループットを狙う。
• SCATSは性能指標に基づく反復的な計画選択を伴う事前定義済み計画アプローチとして説明される。
• RLの基礎が単一および多-agent交通信号制御のために提示され、MDPと確率的ゲームの定式化および報酬の役割を概説する。
• 本論文は交通信号制御におけるデータ駆動型RLアプローチを可能にするため、より豊かなモビリティデータと計算能力の統合の必要性を強調している。