[論文レビュー] Optimizing Traffic Lights with Multi-agent Deep Reinforcement Learning and V2X communication

Azhar Hussain, Tong Wang+1 more|arXiv (Cornell University)|Feb 23, 2020

Traffic control and management参考文献 10被引用数 6

ひとこと要約

本稿では、V2X通信を統合したマルチエージェント深層強化学習（DRL）フレームワークを提案し、都市交差点における交通信号タイミングの最適化を図る。信号制御をマルコフ決定過程としてモデル化し、2つの共有されない報酬関数（停止車両数と時間に基づく）と2つの共有される報酬関数（グローバル指標）をテストすることで、固定周期制御と比較して平均停止車両数を41.5％削減した。共有されない報酬関数が、エージェント間の競合を軽減するため、共有される報酬関数よりも優れた性能を示した。

ABSTRACT

We consider a system to optimize duration of traffic signals using multi-agent deep reinforcement learning and Vehicle-to-Everything (V2X) communication. This system aims at analyzing independent and shared rewards for multi-agents to control duration of traffic lights. A learning agent traffic light gets information along its lanes within a circular V2X coverage. The duration cycles of traffic light are modeled as Markov decision Processes. We investigate four variations of reward functions. The first two are unshared-rewards: based on waiting number, and waiting time of vehicles between two cycles of traffic light. The third and fourth functions are: shared-rewards based on waiting cars, and waiting time for all agents. Each agent has a memory for optimization through target network and prioritized experience replay. We evaluate multi-agents through the Simulation of Urban MObility (SUMO) simulator. The results prove effectiveness of the proposed system to optimize traffic signals and reduce average waiting cars to 41.5 % as compared to the traditional periodic traffic control system.

研究の動機と目的

• 限られたリアルタイムデータに依存する従来の周期的交通信号制御における非効率性を是正すること。
• マルチエージェント深層強化学習とV2X通信を組み合わせることで、都市交通における動的信号タイミングの改善が可能かどうかを検討すること。
• 個々の報酬関数（個別 vs 共有）がマルチエージェント交通信号最適化に与える影響を評価すること。
• 複雑な複数交差点都市環境における平均車両停止時間と列車長を短縮すること。

提案手法

• 状態、行動、報酬、遷移確率を備えたマルコフ決定過程（MDP）として交通信号制御をモデル化すること。
• 各交通信号がV2Xデータを受信する円形カバレッジ半径内に位置する独立エージェントとして機能するマルチエージェントDRLフレームワークを採用すること。
• 訓練の安定化とQ値推定の向上を図るため、優先順位付き経験再生とターゲットネットワークを備えたデュアルDQNアーキテクチャを実装すること。
• 4種類の異なる報酬関数を設計：2つの共有されないもの（エージェントごとの停止車両数と停止時間）と2つの共有されるもの（全エージェントにわたるグローバル指標）。
• SUMOシミュレータを用いて、2、4、8エージェントを含む6×6交差点シナリオでシステムを訓練および評価すること。
• 60エピソードにわたって平均停止車両数や報酬を集約し、報酬関数のバリエーションを比較すること。

実験結果

リサーチクエスチョン

• RQ1 マルチエージェント交通信号制御において、共有されない報酬設計（エージェントごとの停止車両数と時間）と共有される報酬（グローバル指標）の性能はどのように異なるか？
• RQ2 V2X対応のマルチエージェントDRLは、固定周期信号システムと比較して、平均車両停止時間と列車長をより効果的に短縮できるか？
• RQ3 エージェント数（2、4、8）が、DRLベースの信号制御システムの性能と安定性に与える影響は何か？
• RQ4 共有報酬学習は、マルチエージェント交通制御におけるエージェント間の協調性を高めるのか、それとも競合を助長するのか？
• RQ5 高密度交通都市環境において、どの報酬関数が最も安定的かつ効果的な信号タイミングポリシーをもたらすか？

主な発見

• 従来の周期的制御と比較して、平均停止車両数が41.5％削減された。8エージェントシナリオでは、15エピソード経過後にピーク停止車両数が3.9から2.1に低下した。
• 共有されない報酬関数、特に停止車両数に基づくものの方が、共有報酬関数を上回り、平均停止車両数が低く、学習の安定性も高かった。
• 個別報酬（例：$ r_{a_1} $）を使用するエージェントは、共有報酬（例：$ r_{a_3} $、$ r_{a_4} $）を使用するエージェントよりも優れた性能を示し、エージェント間の対立が軽減されたことが示された。
• すべての設定においてエージェント10が他を上回り、特に共有されない報酬条件下で、優れたポリシー学習と適応能力を示した。
• 共有報酬方式では、1つのエージェントの利益となる行動が他のエージェントの報酬を損なうという矛盾する目的が生じ、競合が増大し、性能が低下した。
• エージェント数が多い（8エージェント）場合、停止時間に基づく報酬（$ r_{a_2} $）が停止車両数に基づく報酬よりも効果的であった。これは、時間ベースの指標が混雑した交通状況においてより良好にスケーリングできることを示唆している。