[論文レビュー] Graph Reinforcement Learning Application to Co-operative Decision-Making in Mixed Autonomy Traffic: Framework, Survey, and Challenges

Qi Liu, Xueyuan Li+6 more|arXiv (Cornell University)|Nov 6, 2022

Traffic control and management被引用数 7

ひとこと要約

本論文は、混在自動運転交通におけるマルチエージェント意思決定のためのグラフ強化学習（GRL）フレームワークを提案する。車両をノード、相互作用をエッジとしてモデル化することで、動的な車両関係を捉える。GRLは、複雑で高次元の交通環境において、より効果的な協調行動を可能にすることで、深層強化学習（DRL）手法を上回る性能を発揮する。

ABSTRACT

Proper functioning of connected and automated vehicles (CAVs) is crucial for the safety and efficiency of future intelligent transport systems. Meanwhile, transitioning to fully autonomous driving requires a long period of mixed autonomy traffic, including both CAVs and human-driven vehicles. Thus, collaboration decision-making for CAVs is essential to generate appropriate driving behaviors to enhance the safety and efficiency of mixed autonomy traffic. In recent years, deep reinforcement learning (DRL) has been widely used in solving decision-making problems. However, the existing DRL-based methods have been mainly focused on solving the decision-making of a single CAV. Using the existing DRL-based methods in mixed autonomy traffic cannot accurately represent the mutual effects of vehicles and model dynamic traffic environments. To address these shortcomings, this article proposes a graph reinforcement learning (GRL) approach for multi-agent decision-making of CAVs in mixed autonomy traffic. First, a generic and modular GRL framework is designed. Then, a systematic review of DRL and GRL methods is presented, focusing on the problems addressed in recent research. Moreover, a comparative study on different GRL methods is further proposed based on the designed framework to verify the effectiveness of GRL methods. Results show that the GRL methods can well optimize the performance of multi-agent decision-making for CAVs in mixed autonomy traffic compared to the DRL methods. Finally, challenges and future research directions are summarized. This study can provide a valuable research reference for solving the multi-agent decision-making problems of CAVs in mixed autonomy traffic and can promote the implementation of GRL-based methods into intelligent transportation systems. The source code of our work can be found at https://github.com/Jacklinkk/Graph_CAVs.

研究の動機と目的

• 混在自動運転交通におけるマルチエージェント相互作用をモデル化する既存の深層強化学習（DRL）手法の限界に対処する。
• 車両相互作用を表現し、協調的意思決定を最適化するための汎用的でモジュラーなグラフ強化学習（GRL）フレームワークを開発する。
• CAV意思決定における混在交通環境における最近のDRLおよびGRLアプローチを体系的にレビューする。
• GRLとDRLの有効性を検証するための比較研究を実施する。
• 知的交通システムにおけるGRLベースのマルチエージェント意思決定のための主な課題と今後の研究方向性を特定する。

提案手法

• 各接続済み自動車（CAV）をノードとし、車両間の相互作用をエッジとするグラフとして混在自動運転交通をモデル化する。
• グラフニューラルネットワーク（GNN）を用いて、交通グラフからの空間的および関係的特徴を抽出し、方策学習に活用する。
• GNNで処理された特徴を、深層Qネットワーク（DQN）または類似の方策ネットワークに統合し、協調的走行行動を生成する。
• さまざまなGNNアーキテクチャとRLアルゴリズムの柔軟な統合を可能にするモジュラーなフレームワークを設計する。
• 共同方策を最適化するため、集中型学習と分散型実行を組み合わせたマルチエージェント強化学習設定を採用する。
• GitHub上でフレームワークを実装およびオープンソース化し、再現可能性とコミュニティ利用を促進する。

実験結果

リサーチクエスチョン

• RQ1 グラフ強化学習は、混在自動運転交通における動的でマルチエージェントの相互作用をどのように効果的にモデル化できるか？
• RQ2 協調的CAV意思決定において、GRLとDRLベースの手法との間で性能にどのような差が生じるか？
• RQ3 GRL手法は、混在交通環境に一般的に見られる高次元の状態空間と行動空間をどのように処理するか？
• RQ4 不確実性、通信範囲、車両モデル化を含む、実世界の混在自動運転交通へのGRLの適用における主な課題は何か？
• RQ5 GRLは、ローカル意思決定の効率性を維持しながら、グローバルな調整をどのようにサポートできるか？

主な発見

• GRL手法は、混在自動運転交通におけるCAVのマルチエージェント意思決定を最適化する上で、従来のDRLベースの手法を著しく上回る。
• グラフベースの表現は、車両間の依存関係と動的な交通相互作用を効果的に捉え、より協調的で安全な走行行動を実現する。
• 提案されたGRLフレームワークは、合流や交差点制御などのシナリオで優れた性能を示し、遅延と燃料消費を低減する。
• 比較研究により、複雑で相互作用的な交通環境において、GRLベースのモデルがDRLモデルよりも優れた調整性と安定性を達成することが確認された。
• フレームワークは拡張可能であり、さまざまなGNNおよびRLコンponentsとの統合をサポートしており、将来的な新規シナリオへの適応が可能である。
• GitHub上でのオープンソース実装により、GRLに関する知的交通システム分野における再現可能性とさらなる研究が促進される。