[論文レビュー] Leveraging the Capabilities of Connected and Autonomous Vehicles and Multi-Agent Reinforcement Learning to Mitigate Highway Bottleneck Congestion

Paul Ha, Sikai Chen+4 more|arXiv (Cornell University)|Oct 11, 2020

Traffic control and managementEngineering被引用数 22

ひとこと要約

本論文は、グラフ畳み込みネットワーク（GCN）とディープ決定的方策勾配（DDPG）を用いたマルチエージェント強化学習（MARL）フレームワークを提案し、混在交通状況における高速道路の混雑緩和を、連結・自動運転車両（CAV）が協調的に行えるようにする。わずか10％のCAV導入率でも、RLベースの制御器は混雑を顕著に低減し、動的でトポロジー依存の交通入力を効果的に処理できるため、ルールベースの手法を上回る性能を示す。

ABSTRACT

Active Traffic Management strategies are often adopted in real-time to address such sudden flow breakdowns. When queuing is imminent, Speed Harmonization (SH), which adjusts speeds in upstream traffic to mitigate traffic showckwaves downstream, can be applied. However, because SH depends on driver awareness and compliance, it may not always be effective in mitigating congestion. The use of multiagent reinforcement learning for collaborative learning, is a promising solution to this challenge. By incorporating this technique in the control algorithms of connected and autonomous vehicle (CAV), it may be possible to train the CAVs to make joint decisions that can mitigate highway bottleneck congestion without human driver compliance to altered speed limits. In this regard, we present an RL-based multi-agent CAV control model to operate in mixed traffic (both CAVs and human-driven vehicles (HDVs)). The results suggest that even at CAV percent share of corridor traffic as low as 10%, CAVs can significantly mitigate bottlenecks in highway traffic. Another objective was to assess the efficacy of the RL-based controller vis-\\`a-vis that of the rule-based controller. In addressing this objective, we duly recognize that one of the main challenges of RL-based CAV controllers is the variety and complexity of inputs that exist in the real world, such as the information provided to the CAV by other connected entities and sensed information. These translate as dynamic length inputs which are difficult to process and learn from. For this reason, we propose the use of Graphical Convolution Networks (GCN), a specific RL technique, to preserve information network topology and corresponding dynamic length inputs. We then use this, combined with Deep Deterministic Policy Gradient (DDPG), to carry out multi-agent training for congestion mitigation using the CAV controllers.

研究の動機と目的

• 連結・自動運転車両（CAV）を用いて、スケーラブルでリアルタイムな制御戦略を開発し、高速道路の混雑を緩和すること。
• 人間ドライバーの協調に依存するため一貫性に欠ける、ルールベースの速度調和の限界を克服すること。
• 人間ドライバーのいる混在交通状況でも効果的に動作するマルチエージェント強化学習（MARL）制御器を設計すること。
• 連結エージェントからの動的長さ・トポロジー依存入力を、グラフ畳み込みネットワーク（GCN）を用いて処理することによる課題に対処すること。
• 現実の交通状況下で、RLベースの制御器とルールベースの制御器の性能を比較評価すること。

提案手法

• 本研究では、各CAVが独立したエージェントとして交通流最適化を学習するマルチエージェント強化学習（MARL）フレームワークを採用する。
• グラフ畳み込みネットワーク（GCN）を用いて、交通の接続性と車両間の相互作用を表す動的で可変長の入力を処理し、空間的トポロジーを保持する。
• 連続的アクション空間制御のためDDPGアルゴリズムを適用し、CAVが衝撃波の伝播を緩和するために滑らかな速度調整を可能にする。
• 実世界の展開状況を反映するために、CAVとHDVが混在するシミュレーテッド環境でMARLフレームワークを訓練する。
• 入力には近隣車両の位置、速度、接続データが含まれており、これらはGCNによって符号化され、構造的情報を保持する。
• 制御器は、総移動時間や衝撃波の振幅といった混雑指標を最小化するように訓練される。

実験結果

リサーチクエスチョン

• RQ1 10％程度のCAV導入率でも、マルチエージェント強化学習制御器は混在交通状況における高速道路の混雑を効果的に緩和できるか？
• RQ2 GCNを強化したMARL制御器の性能は、ルールベースの速度調和戦略と比べてどうか？
• RQ3 提案されたフレームワークは、連結車両ネットワークからの動的で可変長の入力を、交通トポロジー情報を保持したまま処理できるか？
• RQ4 RL制御器が顕著な混雑緩和を達成するための最小CAV導入率はどの程度か？
• RQ5 混在交通状況における交通密度の変動やドライバー行動の違いに対して、RLベースの制御器はどれほど頑健か？

主な発見

• わずか10％のCAV導入率でも、RLベースの制御器は混雑を顕著に低減し、導入率が低い状況でも高い有効性を示す。
• GCNベースの入力処理により、従来手法よりも動的でトポロジー依存の交通データをより効果的に処理できる。
• RLベースの制御器は、総移動時間の短縮と衝撃波振幅の低減において、ルールベースの速度調和を上回る性能を示す。
• DDPGの使用により、安定した連続的制御行動が実現し、滑らかな速度調整と振動の低減が達成される。
• 本フレームワークは、交通密度の変動やドライバー行動パターンの違いに対しても性能を維持し、頑健性を示す。
• GCNとMARLの統合により、複雑で現実の交通ネットワークにおいてもスケーラブルかつ一般化可能な混雑緩和が可能になる。