[論文レビュー] Efficient Connected and Automated Driving System with Multi-agent Graph Reinforcement Learning

Tianyu Shi, Jiawei Wang+3 more|arXiv (Cornell University)|Jul 6, 2020

Traffic control and management参考文献 28被引用数 8

ひとこと要約

本論文は、混合交通環境における連結自動運転車（CAV）間の協調を向上させるために、接続自動運転車グラフ（CAVG）を用いたマルチエージェント強化学習フレームワークを提案する。動的車両相互作用をモデル化するために、グラフ畳み込みネットワークとアテンション機構を統合することで、MARL-CAVG手法は、浸透率や目標速度が異なる状況下での車両追従、交差点、合流シナリオにおいて、最先端のベースラインを上回る優れた効率性と安全性を達成した。

ABSTRACT

Connected and automated vehicles (CAVs) have attracted more and more attention recently. The fast actuation time allows them having the potential to promote the efficiency and safety of the whole transportation system. Due to technical challenges, there will be a proportion of vehicles that can be equipped with automation while other vehicles are without automation. Instead of learning a reliable behavior for ego automated vehicle, we focus on how to improve the outcomes of the total transportation system by allowing each automated vehicle to learn cooperation with each other and regulate human-driven traffic flow. One of state of the art method is using reinforcement learning to learn intelligent decision making policy. However, direct reinforcement learning framework cannot improve the performance of the whole system. In this article, we demonstrate that considering the problem in multi-agent setting with shared policy can help achieve better system performance than non-shared policy in single-agent setting. Furthermore, we find that utilization of attention mechanism on interaction features can capture the interplay between each agent in order to boost cooperation. To the best of our knowledge, while previous automated driving studies mainly focus on enhancing individual's driving performance, this work serves as a starting point for research on system-level multi-agent cooperation performance using graph information sharing. We conduct extensive experiments in car-following and unsignalized intersection settings. The results demonstrate that CAVs controlled by our method can achieve the best performance against several state of the art baselines.

研究の動機と目的

• 人間運転車が混在する混合交通環境において、CAV間での協調行動を可能にする課題に対処すること。
• グラフ構造表現を用いて動的相互作用をモデル化することで、全体的な交通効率と安全性を向上させること。
• 交通密度やネットワーク構成の変化に適応できるスケーラブルで一般化可能な意思決定フレームワークを開発すること。
• グラフアテンション機構と動的隣接行列が、マルチエージェント協調をどのように向上させるかを評価すること。
• 環状道路、信号のない交差点、合流領域を含む多様な交通シナリオにおける一般化能力を実証すること。

提案手法

• 本フレームワークは、位置および速度情報に基づいて、車両間の関係を表すために接続自動運転車グラフ（CAVG）を構築する。
• 相対速度と位置に基づいて学習される動的隣接行列を用い、相互作用の強度を反映する。この式には、目標速度と速度差が組み込まれている。
• 複数のヘッドを持つ自己アテンションを備えたグラフ畳み込みネットワークを用いて、周辺車両からの特徴を集約し、関連するエージェントに適応的に注目できるようにする。
• 共有ポリシーを用いたマルチエージェント強化学習によりポリシーネットワークを訓練することで、エージェント間での協調行動の学習を可能にする。
• 安定した学習を実現するため、SUMOを用いたシミュレーション環境でモデルを評価し、PPO（プロキシポリシーオプティマイゼーション）で学習を実施する。
• アテンション機構により、関連性に応じて周辺エージェントの重みが動的に設定され、情報の流れと協調性が向上する。

実験結果

リサーチクエスチョン

• RQ1 どのようにして、混合自律性環境における交通効率と安全性を向上させるためにCAVを効果的に調整できるか？
• RQ2 車両相互作用のグラフベースモデリングが、マルチエージェント協調をどのように向上させるか？
• RQ3 位置、速度、または両方の情報源が、CAV協調フレームワークのパフォーマンスにどのように影響を与えるか？
• RQ4 アテンション機構が、関連する周辺車両を優先する能力をどの程度向上させるか？
• RQ5 提案されたフレームワークは、浸透率や目標速度が異なるさまざまな交通シナリオに一般化可能か？

主な発見

• 40%の浸透率と30 km/hの目標速度の環状道路シナリオにおいて、MARL-CAVGモデルは2710.32 ± 23.581のリターンを達成し、ベースラインを上回った。
• 隣接行列に位置と速度の両方の情報を使用した場合が最も高いパフォーマンスを示し、位置情報のみ（2490.99 ± 20.149）や速度情報のみ（2601.87 ± 19.825）の方法を上回った。
• アテンション機構の導入によりパフォーマンスが著しく向上し、アテンションなし（2423.19 ± 39.193）から8ヘッドアテンションを用いた場合（2624.20 ± 41.213）に向上した。
• パフォーマンスは8ヘッドでピークに達し、10ヘッド以上では低下したため、表現能力の最適なバランスがあることが示された。
• モデルは、車両追従、信号のない交差点、合流領域など、エージェント数が変動する多様なシナリオにおいて、強力な一般化能力を示した。
• 共有ポリシーを用いたマルチエージェント学習は、単一エージェント学習を著しく上回り、CAVシステムにおける協調学習の重要性を強調した。