[論文レビュー] Learning Interaction-aware Guidance Policies for Motion Planning in Dense Traffic Scenarios

Bruno Brito, Achin Agarwal+1 more|arXiv (Cornell University)|Jul 9, 2021

Autonomous Vehicle Technology and Safety参考文献 59被引用数 14

ひとこと要約

本論文は、他の車両の協調性を考慮する相互作用に配慮した深層強化学習（DRL）ポリシーを提案し、モデル予測制御（MPC）プランナに速度リファレンスを提供することで、混雑した交通状況における安全で効率的な合流を可能にする。この手法は、学習ベースおよび最適化ベースのベースラインと比較して、高速道路合流および保護なし左折のシナリオで衝突を低減し、成功確率を向上させる。

ABSTRACT

Autonomous navigation in dense traffic scenarios remains challenging for autonomous vehicles (AVs) because the intentions of other drivers are not directly observable and AVs have to deal with a wide range of driving behaviors. To maneuver through dense traffic, AVs must be able to reason how their actions affect others (interaction model) and exploit this reasoning to navigate through dense traffic safely. This paper presents a novel framework for interaction-aware motion planning in dense traffic scenarios. We explore the connection between human driving behavior and their velocity changes when interacting. Hence, we propose to learn, via deep Reinforcement Learning (RL), an interaction-aware policy providing global guidance about the cooperativeness of other vehicles to an optimization-based planner ensuring safety and kinematic feasibility through constraint satisfaction. The learned policy can reason and guide the local optimization-based planner with interactive behavior to pro-actively merge in dense traffic while remaining safe in case the other vehicles do not yield. We present qualitative and quantitative results in highly interactive simulation environments (highway merging and unprotected left turns) against two baseline approaches, a learning-based and an optimization-based method. The presented results demonstrate that our method significantly reduces the number of collisions and increases the success rate with respect to both learning-based and optimization-based baselines.

研究の動機と目的

• 運転手の意思が観測不能であり、相互作用が重要となる混雑した交通状況における自動運転車両のナビゲーションの課題に対処すること。
• 相互作用のモデリングが不十分なために生じる、過度に慎重または不安全な運動計画の限界を克服すること。
• 人間の行動に類似した相互作用の手がかり（距離および時間頭上）を活用して、スケーラブルで安全かつ相互作用的な運動計画フレームワークを構築すること。
• 深層強化学習と最適化ベースの計画を統合し、リアルタイムにおける安全性、実行可能性、パフォーマンスのバランスを図ること。
• 協調的、混合的、非協調的な交通状況下での高速道路合流や保護なし左折などの複雑な挙動において、成功確率を向上させるとともに衝突を低減すること。

提案手法

• 観測状態（相対位置、速度、頭上距離）を入力として、速度リファレンスを出力する相互作用に配慮したDRLポリシーを学習する。
• 相対距離および時間頭上距離を、ドライバーの協調性の代理指標とし、それらをプランナをガイドする速度命令に変換する。
• DRLポリシーを、運動学的制約および衝突制約を強制する局所的な最適化ベースのプランナ（MPCC）にグローバルなガイダンス信号として統合する。
• 安全で実行可能であることを保証する制約を含むMPCC問題を定式化し、DRLポリシーからのリファレンス速度を入力として使用する。
• DRLポリシーとMPCCを同時に訓練し、実行不能な解に対してペナルティを与えることで、ソルバの信頼性を向上させ、デッドロックを低減する。
• トレーニング中は他の車両を定速モデルで扱うが、今後の作業ではデータ駆動型の相互作用に配慮した予測モデルへの拡張を計画している。

実験結果

リサーチクエスチョン

• RQ1 明示的な通信がなく、他のドライバーの協調性をどのように混雑した交通状況で効果的に推論できるか？
• RQ2 距離および時間頭上距離といった相互作用の手がかりから学習するDRLベースのポリシーは、複雑な挙動における運動計画パフォーマンスを向上させられるか？
• RQ3 学習ベースまたは最適化ベースの手法と比較して、学習された相互作用ポリシーと制約付き最適化プランナを組み合わせた手法は、安全性および成功確率においてどのように異なるか？
• RQ4 衝突回避制約を組み込むことで、混雑した交通状況における到着までの時間と実行可能性にどの程度の影響が生じるか？
• RQ5 提案されたフレームワークは、実際の自動運転車両への実装に適したリアルタイム性能を達成できるか？

主な発見

• 提案されたIntMPC手法は、協調的、混合的、非協調的環境において、DRLオンリーベースラインおよびMPCCオンリーベースラインと比較して、衝突を顕著に低減している。
• 協調的および混合的環境では、両ベースラインと比較してIntMPCが統計的に有意に成功確率を向上させており、特に協調的車両との合流がより多くの成功事例を生んでいる（図6参照）。
• 時間到着までの時間は、DRLベースラインおよびMPCCベースラインと同等であり、どの環境でも各手法間で統計的差異が認められないため、追加の安全制約によるパフォーマンスの低下はない。
• DRLポリシーとコントローラーを同時に訓練することで、MPCCソルバにおける実行不能な解の数が顕著に減少した。これは、実行不能な状態-行動ペairに対してペナルティ信号が与えられたためである。
• DRLポリシーの計算時間は平均1.35 ± 0.5 ms、MPCCの解法時間は平均3.0 ± 1.35 msであり、すべての交通状況でリアルタイム実行が可能であることが示された。
• 本手法は、車両の協調性を能動的に活用することで、混雑した交通状況を効果的に通過する。非協調的車両との成功合流は少数にとどまり、主に確率的IDMパrameterのばらつきにより一時的な空きが生じるためである。