[論文レビュー] Intelligent Coordination among Multiple Traffic Intersections Using Multi-Agent Reinforcement Learning

Ujwal Padam Tewari, Vishal Bidawatka+4 more|arXiv (Cornell University)|Dec 9, 2019

Traffic control and management参考文献 24被引用数 4

ひとこと要約

本稿では、非同期優位アーキテクチャ・アドバイス・アクトア・クリティック（A3C）を用いたマルチエージェント強化学習手法を提案し、複数の交差点にまたがる信号の調整を実現する。リアルタイムの交通密度に基づいて緑色時間を見直し、動的に調整することで、固定周期方式と比較して平均遅延を38％削減することを示している。独立学習とグローバル報酬関数の統合により、従来手法を著しく上回る混雑緩和効果が得られている。

ABSTRACT

We use Asynchronous Advantage Actor Critic (A3C) for implementing an AI agent in the controllers that optimize flow of traffic across a single intersection and then extend it to multiple intersections by considering a multi-agent setting. We explore three different methodologies to address the multi-agent problem - (1) use of asynchronous property of A3C to control multiple intersections using a single agent (2) utilise self/competitive play among independent agents across multiple intersections and (3) ingest a global reward function among agents to introduce cooperative behavior between intersections. We observe that (1) & (2) leads to a reduction in traffic congestion. Additionally the use of (3) with (1) & (2) led to a further reduction in congestion.

研究の動機と目的

• 都市部における車両数の増加と予測不能な交通パターンが原因で生じる交通渋滞の課題に対処すること。
• リアルタイムの交通フローに基づいて緑色時間を動的に調整できる適応型信号制御システムを構築し、固定信号計画の手動チューニングを回避すること。
• 単一エージェント非同期、独立学習、グローバル報酬統合の複数のマルチエージェントRL協調戦略を検討・比較し、複数交差点における交通フローの改善を図ること。
• これらの手法が、シミュレートされた都市交通環境における平均遅延と混雑の低減にどの程度効果を発揮するかを評価すること。

提案手法

• シミュレーション環境内で試行錯誤を通じて最適な信号タイミングポリシーを学習するため、強化学習エージェントの訓練に非同期優位アーキテクチャ・アドバイス・アクトア・クリティック（A3C）アルゴリズムを採用する。
• 各交差点における正規化された車両密度とワンホットエンコーディングされたフェーズ情報の組み合わせを状態空間表現として採用し、エージェントが交通状況と信号フェーズを把握できるようにする。
• 3つの協調戦略を適用する：(1) 複数交差点にわたる単一エージェントA3C、(2) 交差点ごとのエージェントの独立学習、(3) 協力を促進するためのグローバル報酬関数の統合。
• グローバル報酬関数を個々のエージェント報酬の平均（式7）として定義し、重み付き平均（式8）を用いて個々の最適化とグローバル最適化のバランスを取る。
• ウェイブル分布に従う実際の交通データを用いて、リアルな都市交通シナリオ（多様な車両タイプとフロー動態を含む）をモデル化するため、Aimsun Nextシミュレーションプラットフォームを活用する。
• マルチエージェント設定では、複数交差点を表す空間的・時間的状態行列を処理するため、Conv-LSTMアーキテクチャを採用し、効果的なマルチエージェント状態表現を実現する。

実験結果

リサーチクエスチョン

• RQ1 非同期更新を用いた単一A3Cエージェントは、複数交差点にまたがる信号タイミングを効果的に調整できるか？
• RQ2 交差点ごとに複数エージェントを独立して学習させることで、明示的な通信なしに自己組織的協調が生じ、固定信号タイミングよりも交通フローが改善するか？
• RQ3 グローバル報酬関数を導入することで、複数交差点にまたがる協調性と混雑低減にどの程度寄与するか？
• RQ4 独立学習とグローバル報酬関数の組み合わせは、固定信号タイミングと比較して平均遅延低減にどの程度優れているか？

主な発見

• RLエージェントは、固定信号タイミング（FST）60秒と比較して平均遅延を33％削減し、FST 120秒と比較しては66.67％削減した（単一交差点で評価）。
• エージェントの独立学習（InRL）は、非同期A3C単体よりも優れた性能を示した。エージェントは明示的な通信なしに、緑色フェーズを協調的に調整する能力を学習した。
• グローバル報酬関数の導入により、4つの交差点で平均遅延が38％削減され、FST 60の性能を著しく上回り、時間経過に伴っても改善が持続した。
• 独立学習とグローバル報酬関数の組み合わせが、最も優れた混雑低減効果を示した。共有の目的関数を通じた協調性が、マルチエージェント協調性を強化することが明らかになった。
• A3Cベースのマルチエージェントシステムは、動的な交通状況に効果的に適応し、テストされたすべてのシナリオでルールベースの固定タイミングを上回った。
• 正規化された車両密度とフェーズエンコーディングの使用により、モデルは混雑度の高いアプローチを優先し、より効率的な緑色時間の割り当てが可能になった。