[論文レビュー] Altruistic Maneuver Planning for Cooperative Autonomous Vehicles Using Multi-agent Advantage Actor-Critic

Behrad Toghi, Rodolfo Valiente+3 more|arXiv (Cornell University)|Jul 12, 2021

Traffic control and management被引用数 14

ひとこと要約

本論文は、自律走行車（AV）が人間ドライバーの行動を明示的にモデル化せずに、暗黙的に学習することで、協調的かつ利他の行動をとらせるための分散型マルチエージェント強化学習手法を提案する。この手法は、マルチエージェントA2Cフレームワークを用い、AV同士が協調して交通の安全性とスムーズさを向上させる。主な結果として、利他のAVは、前方の合流スペースを事前に作ることで、衝突を著しく削減し、合流に必要な走行距離を約220mから約450mにまで倍増させた。

ABSTRACT

With the adoption of autonomous vehicles on our roads, we will witness a mixed-autonomy environment where autonomous and human-driven vehicles must learn to co-exist by sharing the same road infrastructure. To attain socially-desirable behaviors, autonomous vehicles must be instructed to consider the utility of other vehicles around them in their decision-making process. Particularly, we study the maneuver planning problem for autonomous vehicles and investigate how a decentralized reward structure can induce altruism in their behavior and incentivize them to account for the interest of other autonomous and human-driven vehicles. This is a challenging problem due to the ambiguity of a human driver's willingness to cooperate with an autonomous vehicle. Thus, in contrast with the existing works which rely on behavior models of human drivers, we take an end-to-end approach and let the autonomous agents to implicitly learn the decision-making process of human drivers only from experience. We introduce a multi-agent variant of the synchronous Advantage Actor-Critic (A2C) algorithm and train agents that coordinate with each other and can affect the behavior of human drivers to improve traffic flow and safety.

研究の動機と目的

• 個々の利害と社会的利害の両方を最適化することで、混在交通環境における自律走行車が利他的行動を示すことを可能にすること。
• 明示的な行動モデルに依存せずに、人間ドライバーの協力の不確実性に対処すること。
• 分散型強化学習フレームワークを構築し、AVが協調して人間ドライバーの行動に影響を与えることを可能にすること。
• 高速道路の合流状況における協調的行動計画を通じて、交通の安全性と効率を向上させること。
• 事前定義されたモデルではなく、経験から人間の運転ダイナミクスを暗黙的に学習するAVの訓練

提案手法

• 分散型訓練のため、同期型アドバンテージアクターキャリブレーター（A2C）アルゴリズムのマルチエージェント版が使用された。
• 各AVは、個々の利得と社会的利得の項を組み合わせた分散型報酬信号を受け取り、利他の行動を促進する。
• 状態表現には、交通の流れと車両位置の時間的依存性を符号化するスタックドボリュームマップが使用された。
• アルゴリズムにより、AVは人間ドライバーのモデルを明示的に持たずに、経験から人間の行動を暗黙的に捉えることができる。
• 訓練は、AVと人間ドライバー車両（HVs）が混在する多車線高速道路シミュレーションで実施された。
• 報酬設計により、AVは自らの進行を一時的に遅らせて、HVsの安全な合流機会を創出するよう促された。

実験結果

リサーチクエスチョン

• RQ1 明示的な人間ドライバーのモデルを用いずに、分散型マルチエージェント強化学習フレームワークがAVに利的行動を誘導できるか？
• RQ2 利的行動計画は、混在交通環境下の高速道路における交通の安全性とスムーズさにどのように影響を与えるか？
• RQ3 AVはどれほど協調して人間ドライバーの行動に影響を与え、合流結果を改善できるか？
• RQ4 エンドツーエンドの訓練を通じて、AVは個々の利得と社会的利得の両方をどのようにバランスさせるか？
• RQ5 交通ダイナミクスにおける時間的依存性は、利的行動計画の性能にどのように影響を与えるか？

主な発見

• 利他のAVは、高速道路合流シナリオにおいて、自己中心的な対象と比較して、衝突回数を著しく削減した。
• 合流中の人間ドライバー車両の平均走行距離は、およそ220メートル（自己中心的）から450メートル（利的）に増加し、より安全で効果的な合流が実現した。
• 利他のAVは、安全な合流空間を創出するために、協調して行動し、合流車両が遮断されずに合流を完了させた。
• 合流車両と直接対話する「ガイドAV」は、車線変更や戦略的減速といった適応的行動を示し、安全な合流を可能にした。
• 複数ラウンドにわたる訓練プロセスで安定した収束が達成され、提案された学習フレームワークの頑健性が示された。
• スタックドボリュームマップ表現は、時間的ダイナミクスを効果的に捉えており、長時間スパンの行動計画を支援した。