[論文レビュー] Efficient Pressure: Improving efficiency for signalized intersections

Qiang Wu, Liang Zhang+4 more|arXiv (Cornell University)|Dec 4, 2021

Traffic control and management被引用数 12

ひとこと要約

本稿では、車両の列車長の差に着目した新しい交通状態表現である効率的圧力（EP）を導入し、信号制御（TSC）の性能を向上させる。固定周期15秒、4段階信号のプロトコルにEPを統合することで、従来手法であるEfficient-MPと、一般化された強化学習（RL）テンプレートであるEfficient-XLightを提案。従来のRLベース手法と比較して、計算コストが低く、学習に要する時間が短いにもかかわらず、最先端の性能を達成した。

ABSTRACT

Since conventional approaches could not adapt to dynamic traffic conditions, reinforcement learning (RL) has attracted more attention to help solve the traffic signal control (TSC) problem. However, existing RL-based methods are rarely deployed considering that they are neither cost-effective in terms of computing resources nor more robust than traditional approaches, which raises a critical research question: how to construct an adaptive controller for TSC with less training and reduced complexity based on RL-based approach? To address this question, in this paper, we (1) innovatively specify the traffic movement representation as a simple but efficient pressure of vehicle queues in a traffic network, namely efficient pressure (EP); (2) build a traffic signal settings protocol, including phase duration, signal phase number and EP for TSC; (3) design a TSC approach based on the traditional max pressure (MP) approach, namely efficient max pressure (Efficient-MP) using the EP to capture the traffic state; and (4) develop a general RL-based TSC algorithm template: efficient Xlight (Efficient-XLight) under EP. Through comprehensive experiments on multiple real-world datasets in our traffic signal settings' protocol for TSC, we demonstrate that efficient pressure is complementary to traditional and RL-based modeling to design better TSC methods. Our code is released on Github.

研究の動機と目的

• 動的交通状況への適応性に欠ける従来のTSC手法の限界を是正すること。
• RLベースのTSC手法の計算コストと学習時間を低減しつつ、耐障害性を向上させること。
• 従来手法およびRLベース手法の両方の性能を向上させる、効率的で低コストの交通状態表現を特定すること。
• TSC手法間の一貫性と公平性を保証するための標準化された交通信号設定プロトコルの開発

提案手法

• 入ってくるレーンと出ていくレーンの列車長の差として定義される、簡素化されたが効果的な交通状態表現としての効率的圧力（EP）を提案する。
• 一貫性のある評価を可能にするために、固定15秒のフェーズ時間と4フェーズ信号タイミングを採用した標準化されたTSCプロトコルを確立する。
• ネットワークスループットを最大化するように信号フェーズ切り替えを制御する、従来の制御手法Efficient-MPを設計する。
• EPを状態表現として用い、既存のRLフレームワークと統合可能な一般化されたRLベースのアルゴリズムテンプレートEfficient-XLightを開発する。
• RLフレームワーク内での学習を促進するため、交差点圧力（列車長の差）に基づく報酬関数を採用する。
• 実世界のデータセット（JiNanとHangZhou）を用いて、同一のハイパーパrameterと評価プロトコルでフレームワークを検証する。

実験結果

リサーチクエスチョン

• RQ1 簡素化された交通状態表現、例えば効率的圧力（EP）が、複雑な表現を上回る性能を示せるか？
• RQ2 EPを用いた従来手法（Efficient-MP）が、最先端のRLベースTSC手法を上回る性能を達成できるか？
• RQ3 EPを状態入力として用いる場合、Efficient-XLightテンプレートが、既存のRLベースTSCアルゴリズムの性能を顕著に向上させられるか？
• RQ4 固定フェーズ時間とフェーズ数を有する標準化されたTSCプロトコルは、手法間の公平かつ再現可能な比較を可能にするか？
• RQ5 EPによってモデルの複雑さと学習時間を削減することで、RLベースTSCシステムの実世界への展開性が向上するか？

主な発見

• Efficient-MPは、従来手法およびRLベース手法の両方において、最先端の性能を達成しており、MPLight や CoLight といった高度なRLモデルをも凌駕した。
• 同じEPに基づく状態表現を用いる場合、従来の最大圧力（MP）手法は、最近の多数のRLベース手法と同等またはそれ以上の性能を示した。
• CoLightにEPを状態表現として採用することで、元の車両数や他の圧力変種と比較して、平均移動時間を最大10.5％削減できた。
• Efficient-XLightは、MPLight や CoLight のオリジナルバージョンに対して顕著な性能向上を示し、EPに基づくテンプレートの有効性を裏付けた。
• 15秒のフェーズ時間と4フェーズ信号構成が、全テスト手法において最良の性能を示し、提案されたプロトコルの有効性を裏付けた。
• EPに基づくモデルは、O(1)の計算複雑度を達成しており、長時間学習を要するRL手法に比べて、リアルタイム展開に適している。