[論文レビュー] EMVLight: A Decentralized Reinforcement Learning Framework for Efficient Passage of Emergency Vehicles

Haoran Su, Yaofeng Desmond Zhong+2 more|arXiv (Cornell University)|Sep 12, 2021

Traffic control and management被引用数 4

ひとこと要約

EMVLightは、リアルタイムで動的ルーティングと交通信号制御を共同最適化する分散型マルチエージェント強化学習フレームワークである。交通状況の変化に応じて適応的ルート更新を可能とするダイクストラ法の拡張と、信号フェーズを調整する専用の強化学習エージェントを用いることで、合成的および実世界のグリッドにおいて、最先端のベースラインと比較してEMVの移動時間を18%短縮し、非EMVの平均移動時間を5%短縮した。

ABSTRACT

Emergency vehicles (EMVs) play a crucial role in responding to time-critical events such as medical emergencies and fire outbreaks in an urban area. The less time EMVs spend traveling through the traffic, the more likely it would help save people's lives and reduce property loss. To reduce the travel time of EMVs, prior work has used route optimization based on historical traffic-flow data and traffic signal pre-emption based on the optimal route. However, traffic signal pre-emption dynamically changes the traffic flow which, in turn, modifies the optimal route of an EMV. In addition, traffic signal pre-emption practices usually lead to significant disturbances in traffic flow and subsequently increase the travel time for non-EMVs. In this paper, we propose EMVLight, a decentralized reinforcement learning (RL) framework for simultaneous dynamic routing and traffic signal control. EMVLight extends Dijkstra's algorithm to efficiently update the optimal route for the EMVs in real time as it travels through the traffic network. The decentralized RL agents learn network-level cooperative traffic signal phase strategies that not only reduce EMV travel time but also reduce the average travel time of non-EMVs in the network. This benefit has been demonstrated through comprehensive experiments with synthetic and real-world maps. These experiments show that EMVLight outperforms benchmark transportation engineering techniques and existing RL-based signal control methods.

研究の動機と目的

• 時間変動する交通状況下における、動的EMVルーティングと適応的交通信号優先制御の連携的課題に取り組むこと。
• 既存の優先制御戦略が共通して抱える問題である、非EMVの平均移動時間の著しい増加を避けながら、EMVの移動時間を短縮すること。
• EMVがネットワーク内を進行するに従い、最適経路をリアルタイムで更新できる、計算効率が高くリアルタイム性に優れたルーティング機構を設計すること。
• 交差点に配置されたエージェントが協働的に信号フェーズ戦略を学習する分散型マルチエージェント強化学習フレームワークを構築し、EMV優先とネットワーク全体の効率性のバランスを図ること。

提案手法

• 交通状況の変化に応じて最適なEMV経路を維持できるよう、リアルタイム更新を組み込んだダイクストラ法の拡張。
• 3種類のエージェントタイプ（主優先、副優先、調整）を備えた分散型マルチエージェントA2C強化学習フレームワークを採用。
• 各交差点における全方向の車両密度の均一化を促進する、新規の圧力に基づく報酬関数を導入。これによりネットワーク全体の効率性が向上する。
• マルチエージェント強化学習における訓練の安定化と収束加速を図るため、方策と価値ネットワークにフィンガープリントを適用。
• 道路リンクの「予約」を学習する副優先エージェントを実装。信号フェーズの選択により交通を片付け、緊急車両の高速通過を可能にする。
• 局所的な観測と分散型方策を用いて、ネットワーク全体の信号制御を調整。中央集権的制御のボトルネックを回避。

実験結果

リサーチクエスチョン

• RQ1 分散型強化学習フレームワークは、時間依存の交通環境下で、EMVのルーティングと信号制御を同時に最適化できるか？
• RQ2 非EMVの平均移動時間を増加させることなく、EMVの移動時間を最小化するにはどうすればよいか。これは、一般交通の流れに悪影響を及える既存の戦略の共通する欠点を避けるためである。
• RQ3 特に副優先エージェントのような専用エージェントタイプが、EMV通過効率とネットワーク全体のパフォーマンスに与える影響は何か？
• RQ4 特に改善された圧力指標に基づく報酬関数の設計が、マルチエージェント信号制御における収束性とパフォーマンスに与える影響は何か？
• RQ5 方策と価値ネットワークにおけるフィンガープリントの設計が、EMVLightフレームワークにおける訓練の安定性と収束速度をどの程度向上させるか？

主な発見

• EMVLightは、動的ルーティングベースラインと比較して、EMVの移動時間を平均18%短縮した。これは、ルーティングと信号制御の統合的最適化の有効性を示している。
• EMVLightは、最良のベースライン（Max Pressure）と比較して、非EMVの平均移動時間を5%短縮した。これは、ネットワーク全体の効率性が向上していることを示している。
• 副優先エージェントを削除すると、EMVの移動時間が45%増加した。これは、リンク予約と滑らかなEMV通過を可能にする上で、副優先エージェントが極めて重要な役割を果たしていることを確認している。
• 圧力定義をPressLightのものに置き換えると、平均移動時間が13%増加した。これは、EMVLightの改善された圧力指標が、よりバランスの取れたネットワークフローをサポートしていることを示している。
• 方策と価値ネットワークにおけるフィンガープリントの適用により、収束が早くなり、報酬のフラクチュエーションが減少した。これは、マルチエージェント強化学習訓練の安定化に寄与していることを裏付けている。
• 合成的および実世界の地図の両方において、EMVLightは従来の交通工学的手法および既存の強化学習ベースの信号制御技術を上回り、EMV移動時間と平均車両遅延の両方の指標で優れたパフォーマンスを発揮した。