[論文レビュー] Dynamic Queue-Jump Lane for Emergency Vehicles under Partially Connected Settings: A Multi-Agent Deep Reinforcement Learning Approach

Haoran Su, Kejian Shi+2 more|arXiv (Cornell University)|Mar 2, 2020

Traffic control and management参考文献 44被引用数 6

ひとこと要約

本稿では、部分的に接続されたV2X環境下で、マルチエージェント深層強化学習を用いて緊急車両のための動的キュー・ジャンプレーン（DQJL）システムを提案する。リアルタイムで適応的な戦略により、接続済み車両を協調的に譲らせる手法により、都市部の道路において、接続車両の割合が変動しても、およびドライバーの行動が確率的であっても、緊急車両の通過時間を最大30％短縮できる。

ABSTRACT

Emergency vehicle (EMV) service is a key function of cities and is exceedingly challenging due to urban traffic congestion. The main reason behind EMV service delay is the lack of communication and cooperation between vehicles blocking EMVs. In this paper, we study the improvement of EMV service under V2X connectivity. We consider the establishment of dynamic queue jump lanes (DQJLs) based on real-time coordination of connected vehicles in the presence of non-connected human-driven vehicles. We develop a novel Markov decision process formulation for the DQJL coordination strategies, which explicitly accounts for the uncertainty of drivers' yielding pattern to approaching EMVs. Based on pairs of neural networks representing actors and critics for agent vehicles, we develop a multi-agent actor-critic deep reinforcement learning algorithm that handles a varying number of vehicles and a random proportion of connected vehicles in the traffic. Approaching the optimal coordination strategies via indirect and direct reinforcement learning, we present two schemata to address multi-agent reinforcement learning on this connected vehicle application. Both approaches are validated, on a micro-simulation testbed SUMO, to establish a DQJL fast and safely. Validation results reveal that, with DQJL coordination strategies, it saves up to 30% time for EMVs to pass a link-level intelligent urban roadway than the baseline scenario.

研究の動機と目的

• 都市部の交通渋滞と車両間の協調の欠如による緊急車両の応答時間の増加という課題に対処すること。
• 接続済み車両と人間が運転する車両が混在する交通環境において、スケーラブルでリアルタイムなDQJL協調戦略を開発すること。
• 緊急車両通過時のドライバーの譲り行動の不確実性と、レーン変更に必要な開放空間の制限を克服すること。
• 部分的接続環境下でも、リアルタイムで分散型の意思決定が可能なDQJL形成のためのマルチエージェント強化学習を用いること。
• 協調戦略なしのベースラインと比較して、リンクレベルの都市道路における緊急車両の移動時間短縮の有効性を検証すること。

提案手法

• ドライバーの協調性と交通状況の不確実性をモデル化するため、部分的に観測可能なマルコフ意思決定過程（POMDP）としてDQJL協調問題を定式化する。
• 異なる数の車両や接続率に対してもスケーラブルな、集中学習・分散実行（CTDE）のマルチエージェントアクタークリティック深層強化学習アルゴリズムを開発する。
• 2つのアプローチを実装する：確率的行動を伴う修正された車両追従モデルを用いる間接的手法と、SUMOベースの交通シミュレーション上でエンドツーエンド学習を行う直接的手法。
• 連続的アクション空間（例：レーン変更意思決定）を扱うために、エージェント間で共有された方策ネットワークを用いた、二重遅延深層決定的方策勾配（TD3）を採用する。
• V2X通信を統合し、接続済み車両にDQJL形成の指示をブロードキャストすることで、完全な車両接続を必要としないリアルタイム協調を実現する。
• SUMOで生成された合成マイクロシミュレーションデータセット上でフレームワークを学習し、動的EMVルーティングと変動する接続車両の割合を想定する。

実験結果

リサーチクエスチョン

• RQ1 部分的接続された都市交通環境と確率的ドライバー行動を想定した場合、どのようにして動的キュー・ジャンプレーンを効果的に協調できるか？
• RQ2 接続車両の割合が変動する場合、DQJL協調戦略の性能とスケーラビリティにどのような影響を与えるか？
• RQ3 マルチエージェント深層強化学習は、動的交通状況下でもリアルタイムで安全かつ効率的なDQJL形成を達成できるか？
• RQ4 間接的および直接的マルチエージェント強化学習アプローチは、DQJL応用における学習効率と協調効果の観点で、どのように比較できるか？
• RQ5 協調戦略なしのベースラインと比較して、DQJL協調は緊急車両の通過時間をどの程度短縮できるか？

主な発見

• 提案されたDQJL協調システムは、協調なしのベースラインと比較して、都市部の道路リンクにおいて緊急車両の通過時間を最大30％短縮した。
• 直接的マルチエージェント強化学習アプローチは、より高い協調性能を達成したが、間接的手法と比較して約4倍の学習時間を要した。
• 学習済み方策の平均意思決定時間は5.3msであり、10ms以内のメッセージ間隔を要する3GPP V2X通信基準と互換性がある。
• 非EMV車両の数が増加するにつれて学習時間は指数関数的に増加し、次元の呪いに起因する課題が顕著になった。
• 接続車両の割合が低くても、フレームワークは部分的接続環境下でも有効であり、高い耐障害性を示した。
• 間接的および直接的両アプローチとも、ベースラインと比較して顕著な性能向上を示し、現実の都市交通環境におけるDQJL形成の協調の価値を確認した。