[論文レビュー] Potential Game-Based Decision-Making for Autonomous Driving

Mushuang Liu, Ilya Kolmanovsky+4 more|arXiv (Cornell University)|Jan 16, 2022

Energy, Environment, and Transportation Policies被引用数 4

ひとこと要約

本稿では、純戦略ナッシュ均衡の存在と収束を保証する理論的根拠を備えた、有限および連続的ポテンシャルゲームに基づく自律走行意思決定フレームワークを提案する。再収束最適化とコスト関数形状調整を統合することで、衝突防止の観点から安全でない周囲の車両に対しても優れたロバスト性を示し、交差点通過および車線変更のすべてのシナリオで衝突がゼロであった。

ABSTRACT

Decision-making for autonomous driving is challenging, considering the complex interactions among multiple traffic agents (e.g., autonomous vehicles (AVs), human drivers, and pedestrians) and the computational load needed to evaluate these interactions. This paper develops two general potential game based frameworks, namely, finite and continuous potential games, for decision-making in autonomous driving. The two frameworks account for the AVs' two types of action spaces, i.e., finite and continuous action spaces, respectively. We show that the developed frameworks provide theoretical guarantees, including 1) existence of pure-strategy Nash equilibria, 2) convergence of the Nash equilibrium (NE) seeking algorithms, and 3) global optimality of the derived NE (in the sense that both self- and team- interests are optimized). In addition, we provide cost function shaping approaches to constructing multi-agent potential games in autonomous driving. Moreover, two solution algorithms, including self-play dynamics (e.g., best response dynamics) and potential function optimization, are developed for each game. The developed frameworks are then applied to two different traffic scenarios, including intersection-crossing and lane-changing in highways. Statistical comparative studies, including 1) finite potential game vs. continuous potential game, and 2) best response dynamics vs. potential function optimization, are conducted to compare the performances of different solution algorithms. It is shown that both developed frameworks are practical (i.e., computationally efficient), reliable (i.e., resulting in satisfying driving performances in diverse scenarios and situations), and robust (i.e., resulting in satisfying driving performances against uncertain behaviors of the surrounding vehicles) for real-time decision-making in autonomous driving.

研究の動機と目的

• AV、人間運転車両、歩行者間の複雑でリアルタイムな相互作用が生じる状況下における自律走行におけるマルチエージェント意思決定の課題に取り組む。
• 純戦略ナッシュ均衡の存在が保証されず、収束性やスケーラビリティに欠ける既存のゲーム理論的手法の限界を克服する。
• ナッシュ均衡の存在と収束を保証する理論的根拠に基づくフレームワークを構築し、リアルタイム実装に耐える計算可能性を維持する。
• 安全志向のない周囲の車両に対するロバスト性を強化する。これは強化学習や制御バリア関数に基づく手法における重要なギャップである。
• 交差点通過および車線変更のシナリオに対する実用的かつ明確な定式化を提供し、包括的な統計的比較によって検証する。

提案手法

• 離散的および連続的行動空間にそれぞれ対応する、自律走行意思決定のための有限および連続的ポテンシャルゲームを定式化する。
• エージェントの目的を共通の運転目標（例：安全、効率性）に一致させるコスト関数形状調整手法を導入し、ゲームがポテンシャルゲームであることを保証する。
• 再収束最適化をポテンシャルゲームフレームワークと統合し、リアルタイムで動的かつ意思決定可能な仕組みを実現する。
• 最良応答ダイナミクスとポテンシャル関数最適化に基づくスケーラブルなナッシュ均衡探索アルゴリズムを設計する。
• 交差点通過および車線変更のシナリオにおいて、多様な周囲車両戦略を想定した数値シミュレーションを実施し、フレームワークを実装・比較する。
• 公平な比較のため、PCCA（予測・是正衝突回避）をCBFの亜種として採用し、行動空間の制限を適用する。

実験結果

リサーチクエスチョン

• RQ1 有限および連続的行動空間を有する自律走行意思決定に、ポテンシャルゲームフレームワークを効果的に適用できるか？
• RQ2 提案されたフレームワークは、純戦略ナッシュ均衡の存在と均衡探索アルゴリズムの収束をどのように保証するか？
• RQ3 強化学習および制御バリア関数と比較して、ポテンシャルゲームアプローチは安全志向のない周囲の車両に対してどれほどロバストか？
• RQ4 リアルタイム走行シナリオにおいて、ポテンシャルゲームアプローチの計算効率は強化学習およびCBFベースの手法と比較してどの程度か？
• RQ5 コスト関数形状調整手法は、共通の運転目標を反映した安全で効率的かつ協調的な行動を生成できるか？

主な発見

• 有限および連続的ポテンシャルゲームフレームワークは、純戦略ナッシュ均衡の存在と均衡探索アルゴリズムの収束を保証する。
• 交差点通過シナリオでは、周囲車両が一定速度戦略を採用しても、ポテンシャルゲームアプローチはゼロ衝突（0/5000）を達成し、強化学習（2403/5000衝突）およびCBF（2229/5000衝突）を上回った。
• ナッシュ均衡戦略下では平均エゴ速度が3.78 m/s、一定速度戦略下では3.05 m/sを維持し、性能と安全性のバランスが取れていることが示された。
• ポテンシャルゲームアプローチの平均計算時間は0.05 s（最大0.10 s）であり、0.5 sのサンプリング時間内に収まり、リアルタイム実装の可能性が確認された。
• ポテンシャルゲームアプローチは、ナッシュ均衡戦略および一定速度戦略下で両方で衝突がゼロであったため、最も高いロバスト性を示した。一方、強化学習およびCBFは、安全志向のない行動に対して失敗した。
• 統計的比較により、特に予測不能な交通環境下において、ポテンシャルゲームベースの意思決定が強化学習およびCBFよりも計算効率が高く、よりロバストであることが確認された。