[論文レビュー] First-Order Algorithms for Constrained Nonlinear Dynamic Games

Bolei Di, Andrew Lamperski|arXiv (Cornell University)|Jan 7, 2020

Optimization and Variational Analysis参考文献 21被引用数 4

ひとこと要約

本稿では、線形収束レートを伴う制約付き非線形動的ゲームにおけるオープンループナッシュ均衡（OLNE）を計算するための一次元アルゴリズム—投影勾配法およびダグラス＝ラッチャー分割法—を提示する。ステージごとのニュートン法を拡張して局所的フィードバック方策を導出し、線形動的および多面体的制約下で近似的なフィードバックナッシュ均衡を達成できることを示し、結合制約を有するマルチエージェント制御問題の効率的解法を可能にする。

ABSTRACT

This paper presents algorithms for non-zero sum nonlinear constrained dynamic games with full information. Such problems emerge when multiple players with action constraints and differing objectives interact with the same dynamic system. They model a wide range of applications including economics, defense, and energy systems. We show how to exploit the temporal structure in projected gradient and Douglas-Rachford (DR) splitting methods. The resulting algorithms converge locally to open-loop Nash equilibria (OLNE) at linear rates. Furthermore, we extend stagewise Newton method to find a local feedback policy around an OLNE. In the of linear dynamics and polyhedral constraints, we show that this local feedback controller is an approximated feedback Nash equilibrium (FNE). Numerical examples are provided.

研究の動機と目的

• 完全情報下での制約付き非ゼロ和動的ゲームを解くスケーラブルな数値アルゴリズムの開発。
• 一次元手法における時間的構造を活用し、1ステップあたりの反復計算量を O(T) に抑えること。ここで T は時間区間長である。
• ステージごとのニュートン法を用いて、オープンループナッシュ均衡（OLNE）の計算を局所的フィードバック戦略へ拡張すること。
• 特に線形動的および多面体的制約下で、得られたフィードバック方策がフィードバックナッシュ均衡（FNE）の O(ε²)-近似となる条件を確立すること。
• 数値例を通じて収束性と性能を実証すること。具体的にはノイズ付きバイオマス管理ゲームと3エージェントLQレジューヴァス問題を含む。

提案手法

• 時間的構造を活用して、反復的勾配降下ステップと連携行動制約への射影を交互に実行することで、制約付き動的ゲームに投影勾配法を適応。1ステップあたり O(T) の計算量を達成。
• ダグラス＝ラッチャー分割法を用いて問題を、動的プログラミングにより O(T) 時間で解ける非制約ゲーム部分問題と制約射影部分問題に分解。
• 計算された OLNE 軌道の周囲で局所的フィードバック方策を計算するためにステージごとのニュートン法を用い、二次的構造を活用して局所最適性を確保。
• 線形動的および多面体的制約下では、得られたフィードバック方策が O(ε²)-近似フィードバックナッシュ均衡（FNE）であることを証明。
• ダグラス＝ラッチャー分割のスプリットスキームにおいて、一方の部分問題はステージごとのニュートン法で非制約ゲームを解き、他方の部分問題は有界集合への行動射影を実行。
• 両アルゴリズムにラインサーチおよび適応的ステップサイズルールを導入し、数値実験における安定収束を保証。

実験結果

リサーチクエスチョン

• RQ1 時間的構造を有する制約付き非線形動的ゲームに、投影勾配法やダグラス＝ラッチャー分割法といった一次元手法を効率的に適応できるか。
• RQ2 制約付き動的ゲームに適用した場合、これらのアルゴリズムの収束速度は何か。また、時間区間長に対して線形計算量を維持できるか。
• RQ3 オープンループナッシュ均衡（OLNE）の解を基盤として、局所的フィードバック方策を計算し、それがフィードバックナッシュ均衡（FNE）を近似できるか。
• RQ4 具体的には、線形動的および多面体的制約下で、計算されたフィードバック方策が有効な近似 FNE を与える条件は何か。
• RQ5 これらのアルゴリズムは、ノイズ付きバイオマスゲームやマルチエージェントレジューヴァスタスクといったベンチマーク問題において、実際の性能をどのように発揮するか。

主な発見

• 投影勾配法およびダグラス＝ラッチャー法は、局所的に線形収束レートでオープンループナッシュ均衡（OLNE）に収束し、1ステップあたりの反復計算量は O(T) である。
• 凸制約を伴う線形二次レジューヴァス問題において、ダグラス＝ラッチャー法は10,000反復にわたり安定収束を示し、レジューヴァス点が最終的な OLNE に近づいていた。
• 行動のノルムは u_max = 2 の範囲内で常に有界であり、制約の満たされていることを確認した。
• 3名のプレイヤーの累積コストは反復に伴い減少し、より低いコストの均衡に収束していることが示された。
• ステージごとのニュートン法により導出された局所的フィードバック方策は、ノイズのあるシステムで滑らかなバイオマス軌道を実現し、OLNE 軌道からの逸脱を低減した。
• 線形動的および多面体的制約下では、フィードバック方策が O(ε²)-近似フィードバックナッシュ均衡であることが証明され、実用的価値が裏付けられた。