[論文レビュー] AttendLight: Universal Attention-Based Reinforcement Learning Model for Traffic Signal Control

Afshin Oroojlooy, Mohammadreza Nazari+2 more|arXiv (Cornell University)|Oct 12, 2020

Traffic control and management被引用数 41

ひとこと要約

AttendLight は、異なるトポロジー、車線、位相を持つ交差点の交通信号を制御する普遍的なRLモデルを二つの注意機構で訓練し、単一環境およびマルチ環境レジームの両方で強力な性能を達成します。

ABSTRACT

We propose AttendLight, an end-to-end Reinforcement Learning (RL) algorithm for the problem of traffic signal control. Previous approaches for this problem have the shortcoming that they require training for each new intersection with a different structure or traffic flow distribution. AttendLight solves this issue by training a single, universal model for intersections with any number of roads, lanes, phases (possible signals), and traffic flow. To this end, we propose a deep RL model which incorporates two attention models. The first attention model is introduced to handle different numbers of roads-lanes; and the second attention model is intended for enabling decision-making with any number of phases in an intersection. As a result, our proposed model works for any intersection configuration, as long as a similar configuration is represented in the training set. Experiments were conducted with both synthetic and real-world standard benchmark data-sets. The results we show cover intersections with three or four approaching roads; one-directional/bi-directional roads with one, two, and three lanes; different number of phases; and different traffic flows. We consider two regimes: (i) single-environment training, single-deployment, and (ii) multi-environment training, multi-deployment. AttendLight outperforms both classical and other RL-based approaches on all cases in both regimes.

研究の動機と目的

• あらゆるトポロジーと交通パターンを持つ交差点に適用可能な普遍的な交通信号制御方針を動機づけ、開発する。
• 可変な入力と出力を扱うために注意機構を用いて、各新しい交差点ごとに設計を変更したり再訓練を行う必要性を排除する。
• 単一の訓練済みモデルが、合成データセットと実世界データセットの両方で、従来手法および RL ベースのベースラインを上回ることを示す。

提案手法

• Phase 表現のための状態注意と次の位相決定のための行動注意という二つの注意機構を備えた AttendLight を導入する。
• Conv1D 埋め込み関数を用いて車線レベルの交通特徴を埋め込み、関与する車線の重み付き和として位相表現 z_p^t を計算する。
• LSTM を用いて連続的な位相情報を捉え、位相表現に対する行動注意を介して次の位相方針を導出する。
• 分散削減 REINFORCE アルゴリズムを用いて、二つのレジームで訓練する：single-env（同じ交差点で訓練・展開）と multi-env（複数の交差点で訓練し広く展開）。
• 状態 s^t を車線特徴の集合 s_l^t として表現し、報酬として負の交差点プレッシャーを用いて走行時間最小化を近似する。

実験結果

リサーチクエスチョン

• RQ1 道路数・車線数・位相が異なる交差点にわたって、単一の普遍的な RL モデルが高品質な交通信号制御を達成できるか。
• RQ2 AttendLight は複数の交差点で訓練した後、再訓練なしに見たことのない交差点構成へ一般化できるか。
• RQ3 伝統的なベースラインと比較して、single-environment と multi-environment の訓練レジームで AttendLight の性能はどうなるか。
• RQ4 提案された注意機構が TSCP の可変な入力/出力サイズの処理に与える影響は何か。
• RQ5 少数ショットのキャリブレーションは普遍的方針を特定の交差点に適応させるのに有効か。

主な発見

• AttendLight は、単一環境およびマルチ環境の両方のレジームで、さまざまな交差点において古典的手法および複数の RL ベースのベースラインを上回る。
• 単一環境レジームでは、112件のケースで実質的な改善を達成（例：FixedTime 比で 46%、MaxPressure 比で 39%、SOTL 比で 34%、DQTSC-M 比で 16%、FRAP 比で 9%）。
• マルチ環境レジームでは、訓練セットとテストセット間で約 13–15% の ATT 劣化をもたらし、交差点間での良い一般化と知識共有を示唆する。
• 112 の交差点を対象に、マルチ環境ポリシーは概ね FixedTime、MaxPressure、SOTL を上回り、FRAP と競合し、しばしば DQTSC-M よりも優れる。
• Few-shot キャリブレーションは、200 回の訓練エピソード後にマルチ環境と単一環境のギャップを約15%から5%へ、1000エピソード後には3%へそれぞれ縮小する。