[論文レビュー] Graph Convolution-Based Deep Reinforcement Learning for Multi-Agent Decision-Making in Mixed Traffic Environments

Qi Liu, Zirui Li+3 more|arXiv (Cornell University)|Jan 30, 2022

Traffic control and management被引用数 5

ひとこと要約

本稿は、混合交通環境におけるマルチエージェント意思決定のためのグラフ畳み込みベースの深層強化学習（GRL）フレームワークを提案する。このフレームワークは、車両間の相互作用をモデル化するためのグラフニューラルネットワーク（GNN）と、協働的クロージングを向上させるための深層Qネットワーク（DQN）の変種を統合している。結果として、GNNの統合により意思決定の正確性が顕著に向上し、Dueling-Double DQN（D3QN）が高速道路合流シナリオで平均報酬3346.74を達成し、最高の性能を示した。

ABSTRACT

An efficient and reliable multi-agent decision-making system is highly demanded for the safe and efficient operation of connected autonomous vehicles in intelligent transportation systems. Current researches mainly focus on the Deep Reinforcement Learning (DRL) methods. However, utilizing DRL methods in interactive traffic scenarios is hard to represent the mutual effects between different vehicles and model the dynamic traffic environments due to the lack of interactive information in the representation of the environments, which results in low accuracy of cooperative decisions generation. To tackle these difficulties, this research proposes a framework to enable different Graph Reinforcement Learning (GRL) methods for decision-making, and compares their performance in interactive driving scenarios. GRL methods combinate the Graph Neural Network (GNN) and DRL to achieve the better decisions generation in interactive scenarios of autonomous vehicles, where the features of interactive scenarios are extracted by the GNN, and cooperative behaviors are generated by DRL framework. Several GRL approaches are summarized and implemented in the proposed framework. To evaluate the performance of the proposed GRL methods, an interactive driving scenarios on highway with two ramps is constructed, and simulated experiment in the SUMO platform is carried out to evaluate the performance of different GRL approaches. Finally, results are analyzed in multiple perspectives and dimensions to compare the characteristic of different GRL approaches in intelligent transportation scenarios. Results show that the implementation of GNN can well represents the interaction between vehicles, and the combination of GNN and DRL is able to improve the performance of the generation of lane-change behaviors. The source code of our work can be found at https://github.com/Jacklinkk/TorchGRL.

研究の動機と目的

• 既存のDRL手法が、車両間の相互作用の表現が不十分であるため、動的で相互作用的な交通環境のモデル化に限界を示しているという点を解決すること。
• 知的交通システムにおけるGRL手法の評価を可能にするモジュラーで汎用性の高いフレームワークの開発。
• 現実的な高速道路合流シナリオにおいて、DQN、Double DQN、Dueling DQN、およびDueling-Double DQNの複数のGRLアルゴリズムの性能を比較すること。
• グラフ表現が車両間の相互作用ダイナミクスを捉えることで、協働的意思決定がどのように向上するかを検証すること。
• 交通シミュレーション環境におけるGRL手法のベンチマーク化を支援するオープンソース実装を提供すること。

提案手法

• SUMOを用いて、2つのランプ出口を備えた3車線の高速道路シナリオを構築し、混合交通で相互作用的な走行状況を模擬する。
• 評価のための交通シナリオ生成、GRLアルゴリズムモジュール、シミュレーションを統合したモジュラーなフレームワークを採用する。
• ノード特徴行列と隣接行列を用いて、車両特徴とエージェント間関係をグラフニューラルネットワーク（GNN）で符号化する。
• GRLフレームワーク内のポリシー学習部として、DQN、Double DQN、Dueling DQN、およびDueling-Double DQN（D3QN）の4つのDQNベースのアルゴリズムを採用する。
• RLフィルタを用いて入力表現を精緻化し、GNNモジュールにおける学習安定性を向上させる。
• 成功した車線変更と衝突回避に基づくスパarsな報酬を用いた強化学習により、モデルを訓練および評価する。

実験結果

リサーチクエスチョン

• RQ1 グラフ畳み込みネットワークを統合することで、マルチエージェント意思決定における車両間相互作用の表現はどの程度向上するか？
• RQ2 複雑な交通シナリオにおいて、DQNの異なる変種（DQN、Double DQN、Dueling DQN、D3QN）の報酬、損失、Q値推定の性能はどのように異なるか？
• RQ3 GNN-DRLフレームワークは、ルールベースまたは非相互作用的なDRL手法と比較して、協働的車線変更行動の生成をどの程度向上させるか？
• RQ4 相互作用的な環境において、さまざまなGRLアルゴリズムの訓練過程での収束行動と安定性はいかがなっているか？
• RQ5 提案されたモジュラーなフレームワークは、知的交通応用における多様なGRLアルゴリズムの比較と検証を効果的に支援できるか？

主な発見

• GNNの統合により、車両間の相互作用のモデリングが顕著に向上し、動的交通環境におけるより正確で協働的な意思決定が実現した。
• D3QNが平均テスト報酬3346.74を達成し、Double DQN（3283.57）、Dueling DQN（3295.97）、DQN（3246.10）を上回り、優れたポリシー最適化を示した。
• Dueling DQNとD3QNは、標準DQNとDouble DQNと比較して、平均損失が低く、収束が速かったことから、訓練の安定性が向上したことが示された。
• DQNの平均Q値曲線は、最大値演算子による過剰推定が見られたが、Double DQNとD3QNは滑らかで信頼性の高いQ値推定を示した。
• すべてのGRL手法が、ルールベースのベースラインよりも累積報酬で優れており、GNN-DRLの相互作用的シナリオにおける有効性が確認された。
• 探索フェーズ終了後、損失と報酬の曲線が安定して収束したため、すべてのGRLアルゴリズムにおいて、強力な学習ダイナミクスが実現した。