[論文レビュー] V2I Connectivity-Based Dynamic Queue-Jump Lane for Emergency Vehicles: A Deep Reinforcement Learning Approach

Haoran Su, Kejian Shi+2 more|arXiv (Cornell University)|Aug 1, 2020

Traffic control and management参考文献 30被引用数 4

ひとこと要約

本論文は、V2I接続を活用して緊急車両（EMV）の到着時間を短縮する、深層強化学習（DRL）に基づく動的キュー・ジャンプレーン（DQJL）システムを提案する。ドライバーの反応の不確実性をマルコフ意思決定過程でモデル化し、DRLエージェントを用いてリアルタイムの調整命令を発行することで、中程度の混雑状態下でEMVの通過時間を平均14.89%短縮し、SUMOマイクロシミュレーションにおいてベンチマーク戦略を上回る性能を達成した。

ABSTRACT

Emergency vehicle (EMV) service is a key function of cities and is exceedingly challenging due to urban traffic congestion. A main reason behind EMV service delay is the lack of communication and cooperation between vehicles blocking EMVs. In this paper, we study the improvement of EMV service under V2I connectivity. We consider the establishment of dynamic queue jump lanes (DQJLs) based on real-time coordination of connected vehicles. We develop a novel Markov decision process formulation for the DQJL problem, which explicitly accounts for the uncertainty of drivers' reaction to approaching EMVs. We propose a deep neural network-based reinforcement learning algorithm that efficiently computes the optimal coordination instructions. We also validate our approach on a micro-simulation testbed using Simulation of Urban Mobility (SUMO). Validation results show that with our proposed methodology, the centralized control system saves approximately 15\% EMV passing time than the benchmark system.

研究の動機と目的

• 都市部の混雑と車両間の協調の欠如によるEMVの応答時間の遅延という増大する課題に対処すること。
• リアルタイムのV2I通信と接続車両の協力により、EMVが交通を回避できる動的キュー・ジャンプレーン（DQJL）戦略を開発すること。
• 現実的な交通環境下で、接近するEMVに対するドライバーの反応の確率的性質をモデル化し、その影響を考慮すること。
• 非EMVに対して最適で安全かつ解釈可能な調整命令を計算するための深層強化学習フレームワークを設計・検証すること。
• SUMOマイクロシミュレーションテストベッドを用いて、さまざまな交通密度および速度条件下でのシステムの性能をベンチマークと比較して評価すること。

提案手法

• ドライバーのEMVへの反応の不確実性を明示的にモデル化するマルコフ意思決定過程（MDP）としてDQJL問題を定式化する。
• 非EMVの協調戦略を最適化するためのカスタム報酬関数を備えた深層Qネットワーク（DQN）ベースの強化学習アルゴリズムを設計する。
• セルラー通信を介したリアルタイムのV2I通信により、EMVの経路をブロードキャストし、車両の速度調整を調整して一時的なDQJLを形成する。
• 実際の車両追従モデルとランダムな初期車両位置を用いて、システムの耐障害性をテストするため、SUMOでシミュレーションフレームワークを実装する。
• 経験再生とターゲットネットワークを用いてDRLエージェントを訓練し、確率的交通環境下での学習安定化と収束性の向上を図る。
• 車両の位置、速度、EMVとの距離に基づいた状態空間を定義し、非EMVが安全に譲るための速度調整命令を行動空間として定義する。

実験結果

リサーチクエスチョン

• RQ1 V2I接続車両をリアルタイムでどのように調整して、緊急車両のための動的キュー・ジャンプレーンを形成できるか？
• RQ2 ドライバーの反応の不確実性は、DQJL協調戦略の有効性にどのような影響を与えるか？
• RQ3 深層強化学習エージェントは、確率的交通環境下でも安全で効果的かつ解釈可能な調整命令を学習できるか？
• RQ4 DRLベースのDQJLシステムの性能は、ベンチマーク協調戦略と比較して、EMVの通過時間の観点でどの程度優れているか？
• RQ5 どのような交通状態（例：密度、速度）において、DRLベースのDQJL戦略が最も効果的か？

主な発見

• 中程度の混雑状態（12m/vehの間隔、背景速度5m/s）下で、DRLベースの協調システムはベンチマークシステムと比較して、平均してEMVの通過時間を14.89%短縮した。
• 最大の性能向上は中程度の交通密度で観察され、100メートルの都市道路区間あたり約2.5秒の時間短縮が達成された。
• すべてのシミュレーション実行で絶対的な安全性が確保され、DQJL形成中には衝突や不適切な走行が一切発生しなかった。
• 交通が極端にスカスリすぎたり混雑しすぎたりしない状況で、特に性能向上が顕著であり、DRL戦略の最適運用窓が存在することが示された。
• 背景交通速度が高いほどEMVの時間損失が減少し、DRLシステムはその条件でDQJLの形成をより迅速に可能にすることで、最大の利点を発揮した。
• DRLエージェントは多様な初期状態にわたって良好に一般化しており、ランダムな車両配置や動的な交通状態に対しても耐障害性を示した。