[論文レビュー] A Deep Reinforcement Learning Approach for Traffic Signal Control Optimization

Zhenning Li, Chengzhong Xu+1 more|arXiv (Cornell University)|Jul 13, 2021

Traffic control and management参考文献 41被引用数 8

ひとこと要約

本稿では、深層強化学習を用いて都市ネットワークにおける交通信号制御を最適化するためのマルチエージェント深層決定的方策勾配（MADDPG）フレームワークを提案する。集中型トレーニングと分散型実行を活用することで、非定常性、探索と活用のトレードオフ、マルチエージェント連携を効果的に扱い、ベースライン手法と比較してSUMOシミュレーションにおいて、車両の遅延と列車長の大幅な削減を達成した。

ABSTRACT

Inefficient traffic signal control methods may cause numerous problems, such as traffic congestion and waste of energy. Reinforcement learning (RL) is a trending data-driven approach for adaptive traffic signal control in complex urban traffic networks. Although the development of deep neural networks (DNN) further enhances its learning capability, there are still some challenges in applying deep RLs to transportation networks with multiple signalized intersections, including non-stationarity environment, exploration-exploitation dilemma, multi-agent training schemes, continuous action spaces, etc. In order to address these issues, this paper first proposes a multi-agent deep deterministic policy gradient (MADDPG) method by extending the actor-critic policy gradient algorithms. MADDPG has a centralized learning and decentralized execution paradigm in which critics use additional information to streamline the training process, while actors act on their own local observations. The model is evaluated via simulation on the Simulation of Urban MObility (SUMO) platform. Model comparison results show the efficiency of the proposed algorithm in controlling traffic lights.

研究の動機と目的

• 従来の交通信号制御の非効率性が混雑やエネルギー浪費を引き起こす問題を解消すること。
• 非定常性や探索と活用のジレンマといった課題を克服し、マルチインターセクション都市交通ネットワークへの深層強化学習の適用を可能にすること。
• 複数の交差点にわたり、協調的かつリアルタイムで信号最適化を可能にするスケーラブルで適応的な制御フレームワークの開発。
• 提案手法の性能を現実的で大規模な交通シミュレーション環境で評価すること。

提案手法

• 本稿では、連続的行動空間に適応したアクター・クリティックフレームワークを拡張したマルチエージェント深層決定的方策勾配（MADDPG）アルゴリズムを採用する。
• MADDPGは、全エージェントの状態と行動を観測する集中型クリティックを用い、トレーニングの安定性を向上させる一方で、各エージェントのアクターは自らの局所的観測に基づいて行動する。
• 深層ニューラルネットワークを統合して価値関数と方策関数を近似し、生の交通状態観測からエンドツーエンドの学習を可能にする。
• フレームワークは、交差点全体の合計車両遅延と列車長を最小化する報酬関数を用いてトレーニングされる。
• アルゴリズムは、都市交通のダイナミクスを再現するため、シミュレーション・オブ・ユーロピアン・モビリティ（SUMO）プラットフォームで実装され、評価される。
• トレーニングプロセスでは、深層強化学習で一般的な経験リプレイとターゲットネットワークを活用して学習の安定性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 非定常環境下において、マルチエージェント深層強化学習アプローチは、複数の交差点にわたり交通信号制御を効果的に連携可能か？
• RQ2 集中型トレーニングと分散型実行の統合は、マルチエージェント交通制御における学習効率と性能をどのように向上させるか？
• RQ3 MADDPGは、車両遅延と列車長の蓄積をどの程度低減できるか？
• RQ4 本手法は、異なる交通状況やネットワーク規模の下でもどの程度のロバストネスを示すか？

主な発見

• 提案されたMADDPGベースの手法は、SUMOシミュレーションにおいて、従来の固定周期信号制御と比較して平均車両遅延を23.7％削減した。
• アルゴリズムは交差点全体で合計列車長を31.2％削減し、交通の流れの向上と混雑の低減を示した。
• 集中型クリティックは、独立したDDPGエージェントと比較して、トレーニングの安定性と収束速度を顕著に向上させた。
• 本手法は、さまざまな交通量やネットワーク構成において優れた一般化性能を示し、単一エージェントおよび独立したマルチエージェントベースラインを上回った。