[論文レビュー] Interaction-aware Decision Making with Adaptive Strategies under Merging Scenarios

Yeping Hu, Alireza Nakhaei+2 more|arXiv (Cornell University)|Apr 12, 2019

Autonomous Vehicle Technology and Safety参考文献 16被引用数 14

ひとこと要約

本稿では、カリキュラム学習とマスキング機構を活用することで、他車両の協調性とレーン優先順位に基づいて自動運転車両の合流行動を動的に適応させる、相互作用に配慮した適応戦略を有する意思決定手法（IDAS）を提案する。IDASは、多エージェント強化学習を用い、一貫した方策を学習することで、多様な合流状況において安全で効率的かつ人間らしい交渉戦略を生成する。ベースライン手法と比較して、衝突ゼロかつ合流効率が向上した。

ABSTRACT

In order to drive safely and efficiently under merging scenarios, autonomous vehicles should be aware of their surroundings and make decisions by interacting with other road participants. Moreover, different strategies should be made when the autonomous vehicle is interacting with drivers having different level of cooperativeness. Whether the vehicle is on the merge-lane or main-lane will also influence the driving maneuvers since drivers will behave differently when they have the right-of-way than otherwise. Many traditional methods have been proposed to solve decision making problems under merging scenarios. However, these works either are incapable of modeling complicated interactions or require implementing hand-designed rules which cannot properly handle the uncertainties in real-world scenarios. In this paper, we proposed an interaction-aware decision making with adaptive strategies (IDAS) approach that can let the autonomous vehicle negotiate the road with other drivers by leveraging their cooperativeness under merging scenarios. A single policy is learned under the multi-agent reinforcement learning (MARL) setting via the curriculum learning strategy, which enables the agent to automatically infer other drivers' various behaviors and make decisions strategically. A masking mechanism is also proposed to prevent the agent from exploring states that violate common sense of human judgment and increase the learning efficiency. An exemplar merging scenario was used to implement and examine the proposed method.

研究の動機と目的

• 自動運転車両が合流状況において、人間運転車両と安全かつ効率的に相互作用できる意思決定フレームワークの開発。
• ドライバーの協調性や交通状況の変化に適応できないルールベースや固定行動モデルの限界を克服すること。
• 手動でコーディングされたルールなしに、他のドライバーの行動を自動的に推定し、それに応じて戦略を調整する統合方策の学習。
• 動的相互作用をモデル化し、現実的な人間らしい交渉行動を優先することで、合流効率と安全性の向上。
• 多エージェント強化学習におけるエンドツーエンド学習により、多様な合流状況への一般化を実現すること。

提案手法

• 二重クライアントアーキテクチャ（分散価値関数と集中型行動価値関数）を用いた多エージェント強化学習（MARL）を採用し、局所的意思決定とグローバルな調整のバランスを図る。
• 訓練シナリオの複雑さを段階的に増加させるカリキュラム学習戦略を適用し、方策のサンプル効率と収束性を向上。
• 共通の感覚的な人間の運転行動に反する状態での探索を抑制するためのマスキング機構を導入し、学習の安定性と効率性を向上。
• ドライバーの協調性を連続的タイプ変数（$b_{type}^{merge}$）としてモデル化し、周囲の車両の行動傾向を推定してそれに応じた適応を可能にする。
• 事前に計画された経路と既知の合流地点を持つシミュレーション環境で、エンドツーエンドに方策を訓練し、安全かつ効率的な交渉に焦点を当てる。
• レーン優先順位（メインレーン対合流レーン）と相対的位置に基づく適応戦略生成をサポートし、文脈に配慮した意思決定を可能にする。

実験結果

リサーチクエスチョン

• RQ1 自動運転車両は、周囲のドライバーの協調性レベルに応じて、どのようにして合流戦略を動的に適応できるか？
• RQ2 協調性や交通密度が異なる多様な合流状況において、1つの統一方策がどの程度一般化できるか？
• RQ3 明示的なルールベースプログラミングなしに、強化学習ベースのアプローチが、譲り合いや意図に基づく加速といった人間らしい交渉行動を学習できるか？
• RQ4 カリキュラム学習とマスキングの統合は、複雑な相互作用状況におけるサンプル効率と方策安定性をどのように向上させるか？
• RQ5 学習済み方策は、複数のテストシナリオにおいて衝突ゼロを達成しながらも、高い合流効率を維持できるか？

主な発見

• IDAS方策は、合流車両のドライバータイプに応じて異なる走行行動を生成することに成功しており、協調性レベルの違いに伴い減速パターンや合流タイミングの変化が観察された。
• 合流地点への同時到着状況では、効果的な交渉が可能である：協調性が高い場合に合流車両は減速し、メインレーン車両が譲る意思を示した場合には加速する。
• 相対距離と認識された意図に基づき、合流車両は戦略を適応させる—後方にある場合は減速し、必要に応じて譲り、安全なギャップが検出されると加速する。
• すべてのテストシナリオで衝突ゼロを達成し、多様な相互作用条件下でも強固な安全性を示した。
• 両車両の速度プロファイルは、合流前の減速や相互の予測に基づく動的な速度調整を含み、現実的な人間らしい行動を示した。
• カリキュラム学習と適応戦略学習のおかげで、ベースライン手法に比べて成功確率と合流効率が向上し、シナリオ間での一般化性能も向上した。