[論文レビュー] An Open-Source Framework for Adaptive Traffic Signal Control

Wade Genders, Saiedeh Razavi|arXiv (Cornell University)|Sep 1, 2019

Traffic control and management参考文献 61被引用数 11

ひとこと要約

本論文は、SUMOと統合されたオープンソースのシミュレーションフレームワークを提示しており、従来の手法（Webster、Max-pressure、SOTL）および深層強化学習モデル（DQN、DDPG）を含む、適応型信号制御器の開発と評価を可能にする。このフレームワークは、体系的なハイパーパramータチューニングと性能比較分析を可能にし、最適化設定下でDQNおよびDDPG制御器が古典的手法を上回ることを示している。

ABSTRACT

Sub-optimal control policies in transportation systems negatively impact mobility, the environment and human health. Developing optimal transportation control systems at the appropriate scale can be difficult as cities' transportation systems can be large, complex and stochastic. Intersection traffic signal controllers are an important element of modern transportation infrastructure where sub-optimal control policies can incur high costs to many users. Many adaptive traffic signal controllers have been proposed by the community but research is lacking regarding their relative performance difference - which adaptive traffic signal controller is best remains an open question. This research contributes a framework for developing and evaluating different adaptive traffic signal controller models in simulation - both learning and non-learning - and demonstrates its capabilities. The framework is used to first, investigate the performance variance of the modelled adaptive traffic signal controllers with respect to their hyperparameters and second, analyze the performance differences between controllers with optimal hyperparameters. The proposed framework contains implementations of some of the most popular adaptive traffic signal controllers from the literature; Webster's, Max-pressure and Self-Organizing Traffic Lights, along with deep Q-network and deep deterministic policy gradient reinforcement learning controllers. This framework will aid researchers by accelerating their work from a common starting point, allowing them to generate results faster with less effort. All framework source code is available at https://github.com/docwza/sumolights.

研究の動機と目的

• シミュレーションにおける適応型交通信号制御器を比較するための標準化されたツールの不足に対処すること。
• 複数の適応型制御モデルの再利用可能でオープンソースの実装を提供することで、研究を加速すること。
• ハイパーパramータチューニングが異なるアルゴリズムの制御器性能に与える影響を調査すること。
• 現実的な交通状況下での最適化された適応型制御器の相対的性能を比較すること。
• 共有されたコードとシミュレーション設定を通じて、知的輸送システム分野における再現可能性のある研究を支援すること。

提案手法

• フレームワークは、SUMO交通マイクロシミュレータに、5つの適応型交通信号制御器（Webster、Max-pressure、SOTL、DQN、DDPG）を統合している。
• 交差点の停止ラインから150メートル以内の車両の列待ち状態と密度に基づく状態表現が用いられている。
• DQNおよびDDPGエージェントは、学習の安定化のため、経験再生とターゲットネットワークを用いた深層ニューラルネットワークを採用している。
• DQNは、ターゲットQ値と予測Q値の間の平均二乗誤差損失を用い、DDPGは分離されたアクター・クリティックネットワークとポリシー勾配更新を用いている。
• 安全の確保のため、緑色のフェーズの間に固定2秒のイエローフェーズと3秒のオールレッドフェーズが設けられている。
• 交通需要パターンが都市の現実の状況を反映する標準化されたシミュレーション環境を用いて、制御器が評価されている。

実験結果

リサーチクエスチョン

• RQ1 ハイパーパramータチューニングは、異なる適応型交通信号制御器の性能にどのように影響するか？
• RQ2 ハイパーパramータが最適化された場合、どの適応型交通信号制御器が平均遅延を最も低く抑えるか？
• RQ3 最適設定下で、深層強化学習制御器（DQNおよびDDPG）は、古典的手法（Webster、Max-pressure、SOTL）と比較してどのように異なるか？
• RQ4 状態観測範囲（150 m）は、制御器の性能と安定性にどのような影響を及えるか？
• RQ5 このフレームワークは、多様な交通信号制御アルゴリズム間で一貫性があり再現可能なベンチマーク評価を可能にするか？

主な発見

• ハイパーパramータが最適化された場合、DQNおよびDDPG制御器は古典的手法よりも顕著に低い平均遅延を達成した。
• 制御器間の性能ばらつきは、特にDQNおよびDDPGにおいてハイパーパramータ設定に極めて敏感であった。
• SOTL制御器は優れた性能を示したが、最適チューニング下ではDQNおよびDDPGに劣った。
• Max-pressureおよびWebster制御器はハイパーパramータの変更に対してやや感受性が低かったが、学習ベースのモデルに比べて遅延が高かった。
• このフレームワークは、すべての制御器タイプにおいて一貫性があり再現可能な評価を可能にし、比較研究における実用性を裏付けた。
• 安全フェーズ（イエローおよびオールレッド）の導入により、すべての制御器タイプで衝突が防止され、安定した運用が確保された。