[論文レビュー] The Computation of Approximate Generalized Feedback Nash Equilibria

Forrest Laine, David Fridovich-Keil+2 more|arXiv (Cornell University)|Jan 8, 2021

Advanced Control Systems Optimization参考文献 21被引用数 7

ひとこと要約

本稿では、一般化されたフィードバックナッシュ均衡（GFNE）の計算可能性に優れた近似として、一般化されたフィードバック準ナッシュ均衡（GFQNE）を導入する。非線形で状態および入力制約を伴う動的ゲームにおけるフィードバック均衡の効率的計算を可能にする、逐次線形二次ゲーム（SLQG）手法を提案。自律走行車両の変則走行シナリオで検証された。

ABSTRACT

We present the concept of a Generalized Feedback Nash Equilibrium (GFNE) in dynamic games, extending the Feedback Nash Equilibrium concept to games in which players are subject to state and input constraints. We formalize necessary and sufficient conditions for (local) GFNE solutions at the trajectory level, which enable the development of efficient numerical methods for their computation. Specifically, we propose a Newton-style method for finding game trajectories which satisfy necessary conditions for an equilibrium, which can then be checked against sufficiency conditions. We show that the evaluation of the necessary conditions in general requires computing a series of nested, implicitly-defined derivatives, which quickly becomes intractable. To this end, we introduce an approximation to the necessary conditions which is amenable to efficient evaluation, and in turn, computation of solutions. We term the solutions to the approximate necessary conditions Generalized Feedback Quasi-Nash Equilibria (GFQNE), and we introduce numerical methods for their computation. In particular, we develop a Sequential Linear-Quadratic Game approach, in which a LQ local approximation of the game is solved at each iteration. The development of this method relies on the ability to compute a GFNE to inequality- and equality-constrained LQ games, and therefore specific methods for the solution of these special cases are developed in detail. We demonstrate the effectiveness of the proposed solution approach on a dynamic game arising in an autonomous driving application.

研究の動機と目的

• 非線形動的ゲームに一般化された状態および入力制約を伴うフィードバックナッシュ均衡を計算する数値的手法の不足に応えること。
• 内挿的・暗黙的定義された導関数を含む、GFNEの正確な必要条件を計算する際の非効率性を克服すること。
• 動的ゲームのフィードバック構造を保ったまま、効率的かつ非パラメトリックな近似均衡の計算手法を開発すること。
• 自律走行車両など、安全性および制約遵守が極めて重要な実世界のシステムへのフィードバック均衡の実用的応用を可能にすること。
• LQケースを超えた一般の制約付き動的ゲームに適用可能なスケーラブルで反復的な解法手法の基盤を提供すること。

提案手法

• パラメータ化されたGFNE定式化における計算の非効率性を回避するため、非パラメトリックで暗黙のポリシー定式化を導入する。
• 正確な導関数の代わりにポリシー準勾配近似を用いて、GFNEの必要条件に対する近似を提案する。
• GFQNEを、近似された必要条件の解として定義し、効率的な計算を可能にする。
• 各反復でゲームの局所的LQ近似を解く、逐次線形二次ゲーム（SLQG）手法を開発する。
• 等式制約および不等式制約を伴うLQゲームに対する特別な解法技術を設計し、SLQG反復の根幹を形成する。
• GFNEの必要条件をニュートン型手法で解き、その後、十分性のチェックを実施して均衡候補の妥当性を検証する。

(a) $\sigma_{polite}=0$

実験結果

リサーチクエスチョン

• RQ1 非線形動的ゲームに状態および入力制約が存在する場合、どのようにしてフィードバックナッシュ均衡を効率的に計算できるか？
• RQ2 内挿的で非効率な導関数を避けるために、GFNEの必要条件に対する計算可能な近似は何か？
• RQ3 逐次的LQ近似法は、制約付き動的ゲームにおいて意味のあるフィードバック均衡に収束するか？
• RQ4 GFQNE定式化は、正確なGFNEと比較して、計算の可能性および解の品質の面でどのように異なるか？
• RQ5 本手法は、安全性および制約要件が厳しい自律走行車両の協調問題に効果的に適用可能か？

主な発見

• 提案されたGFQNE定式化により、従来の手法が存在しなかった非線形かつ制約付き動的ゲームにおいて、フィードバック均衡の効率的計算が可能になった。
• 逐次線形二次ゲーム手法は、3台の自律走行車両が関与する動的変則走行シナリオにおいて、解を効率的に計算できた。
• 協調的・競争的目標の両方に対応可能な柔軟性を示し、親密係数（σ_polite = 0および5）の異なる値でも安定した性能を示した。
• GFQNEの解は、最小距離（d_min = 3.3）およびレーン維持要件を含む、すべての状態および入力制約を満たした。
• 局所的LQ近似を用いた反復的計算により、有限回の反復で収束が達成され、計算が効率的であった。
• 本手法により、進化するゲーム状態に応じて反応するフィードバックポリシーの計算が可能となり、動的環境における反応的・適応的行動を支援した。

(b) $\sigma_{polite}=5$