[論文レビュー] Multi-Agent Deep Reinforcement Learning for Large-scale Traffic Signal Control

Tianshu Chu, Jie Wang+2 more|arXiv (Cornell University)|Mar 11, 2019

Traffic control and management参考文献 18被引用数 4

ひとこと要約

本稿では、近隣の指紋を用いて観測性を向上させるとともに、空間的割引係数を導入して学習の難易度を低減する、大規模な交通信号制御のための分散型マルチエージェントアドバンテージアクターキャリブレーション（MA2C）フレームワークを提案する。合成およびモナコの実際の交通ネットワークで評価した結果、MA2Cは独立型A2CおよびQ学習ベースラインを上回り、最適性、耐障害性、サンプル効率性において優れた性能を示し、より低く持続可能な遅延を達成するとともに、ネットワークの容量利用効率を向上させた。

ABSTRACT

Reinforcement learning (RL) is a promising data-driven approach for adaptive traffic signal control (ATSC) in complex urban traffic networks, and deep neural networks further enhance its learning power. However, centralized RL is infeasible for large-scale ATSC due to the extremely high dimension of the joint action space. Multi-agent RL (MARL) overcomes the scalability issue by distributing the global control to each local RL agent, but it introduces new challenges: now the environment becomes partially observable from the viewpoint of each local agent due to limited communication among agents. Most existing studies in MARL focus on designing efficient communication and coordination among traditional Q-learning agents. This paper presents, for the first time, a fully scalable and decentralized MARL algorithm for the state-of-the-art deep RL agent: advantage actor critic (A2C), within the context of ATSC. In particular, two methods are proposed to stabilize the learning procedure, by improving the observability and reducing the learning difficulty of each local agent. The proposed multi-agent A2C is compared against independent A2C and independent Q-learning algorithms, in both a large synthetic traffic grid and a large real-world traffic network of Monaco city, under simulated peak-hour traffic dynamics. Results demonstrate its optimality, robustness, and sample efficiency over other state-of-the-art decentralized MARL algorithms.

研究の動機と目的

• マルチエージェント強化学習（MARL）を用いた大規模で適応的交通信号制御（ATSC）におけるスケーラビリティと部分的観測の課題に対処すること。
• ATSCのための最新のアドバンテージアクターキャリブレーション（A2C）フレームワークに基づき、完全に分散型でスケーラブルかつ安定したMARLアルゴリズムを開発すること。
• 通信が限られ、環境の部分的視認しかできない分散型MARL環境において、局所エージェントの観測性を向上させ、学習の難易度を低減すること。
• 現実のピーク時間帯の動的特性を想定した合成および実世界の交通ネットワークにおいて、提案手法を独立型A2CおよびQ学習ベースラインと比較して評価すること。
• 既存の分散型MARLアプローチと比較して、最適性、耐障害性、サンプル効率性において優れた性能を示すことを実証すること。

提案手法

• 独立型A2Cを協調的MARLに拡張したマルチエージェントA2C（MA2C）アルゴリズムを提案し、個々の交差点の分散制御を可能にする。
• 近隣の交差点状態の共有表現（近隣指紋）を導入し、局所的観測性と協調性を向上させる。
• 報酬関数に空間的割引係数を組み込み、時間的信用配分問題を軽減し、局所エージェントの学習難易度を低下させる。
• A2Cフレームワークにおいて、方策関数と価値関数を深層ニューラルネットワークでパラメータ化することで、高次元の状態行動空間における関数近似を可能にする。
• 安定な学習を実現するために経験再生とブートストラップサンプリングを採用しつつ、分散型学習の性質を保ち、分散型学習の分散を低減する。
• 特に高密度交通状況においても学習を安定化させるために、状態信号および報酬信号に正規化を適用する。

実験結果

リサーチクエスチョン

• RQ1 部分的観測下において、分散型マルチエージェントA2Cフレームワークは、大規模な交通信号制御において安定的かつスケーラブルな学習を達成できるか？
• RQ2 近隣指紋と空間的割引は、マルチエージェント交通制御における観測性と学習効率をどのように向上させるか？
• RQ3 提案されたMA2Cアルゴリズムは、遅延低減、キュー管理、ネットワーク容量利用効率の観点で、独立型A2CおよびQ学習ベースラインを上回るか？
• RQ4 実世界の都市ネットワークにおける現実的で時間変動的かつ確率的な交通ダイナミクス下で、MA2Cフレームワークはどの程度耐障害性を示すか？
• RQ5 実際の導入において、ノイズが多いか遅延のあるセンサ測定値に直面しても、アルゴリズムは性能を維持できるか？

主な発見

• MA2Cは、合成ネットワークおよびモナコの交通ネットワークの両方で、IA2CおよびIQL-DNNよりも高速かつ安定した学習収束を達成した。
• モナコネットワークにおいて、MA2Cはピーク混雑時以降においても、IA2Cおよびグリーディポリシーと比較して平均交差点遅延をより低くかつ持続可能な水準に抑えた。
• MA2Cは、マクロスコピックファンドメンタルダイアグラムの「最適領域」に近いネットワークフローを維持し、飽和状態下でもネットワーク容量の利用を最大化した。
• 最大キュー長と移動遅延の最小化という観点で、すべてのベースラインを上回り、優れた最適性と耐障害性を示した。
• 独立型Q学習およびIQL-DNNは収束せず、信頼性の低い性能を示したが、IA2Cは中間段階の学習では妥当な性能を示したものの、不安定さを示した。
• 近隣指紋と空間的割引の導入により、特に部分的観測環境下で学習の安定性と性能が顕著に向上した。