[論文レビュー] Differential Dynamic Programming for Nonlinear Dynamic Games

Bolei Di, Andrew Lamperski|arXiv (Cornell University)|Sep 21, 2018

Extremum Seeking Control Systems参考文献 16被引用数 7

ひとこと要約

この論文は、微分動的プログラミング（DDP）を非ゼロ和の完全情報動的ゲームに拡張する。各エージェントの価値関数の二次近似を定式化し、それらに基づく静的二次ゲームを再帰的に解く。この手法はニュートン法の二次収束性を引き継ぎ、厳密なナッシュ均衡点の近傍で局所的に二次収束することが証明されている。

ABSTRACT

Dynamic games arise when multiple agents with differing objectives choose control inputs to a dynamic system. Dynamic games model a wide variety of applications in economics, defense, and energy systems. However, compared to single-agent control problems, the computational methods for dynamic games are relatively limited. As in the single-agent case, only very specialized dynamic games can be solved exactly, and so approximation algorithms are required. This paper extends the differential dynamic programming algorithm from single-agent control to the case of non-zero sum full-information dynamic games. The method works by computing quadratic approximations to the dynamic programming equations. The approximation results in static quadratic games which are solved recursively. Convergence is proved by showing that the algorithm iterates sufficiently close to iterates of Newton's method to inherit its convergence properties. A numerical example is provided.

研究の動機と目的

• 複数のエージェントが対立的目標を持つ非線形動的ゲームを効率的に解く計算手法の不足に対処する。
• 単一エージェント最適制御のために設計された微分動的プログラミング（DDP）フレームワークを、非ゼロ和の動的ゲームに拡張する。
• 有限ホライズンの決定的非線形動的ゲームにおいて、局所的ナッシュ均衡を計算する再帰的アルゴリズムを開発する。
• 動的ゲームの文脈において、DDPの反復がニュートン法の反復に類似していることと関連づけ、アルゴリズムの二次収束を証明する。
• 非線形所有者・犬の追跡問題を用いて、収束行動の数値的妥当性を検証する。

提案手法

• N人のエージェントが、全エージェントの制御入力に依存する個別のコスト関数を最小化する有限ホライズン最適制御問題として動的ゲームを定式化する。
• 各時刻において、各エージェントのコスト関数および価値関数に対して二次近似を適用し、ゲームのダイナミクスの局所的二次近似を得る。
• 各反復において、近似されたコスト関数およびダイナミクスからなる静的二次ゲームを解き、後退計算では結合されたリカッチ型方程式を用いる。
• 計算されたフィードバック方策および勾配に基づいて、制御軌道を更新する前向きパスを実行する。
• ナッシュ均衡の必要条件に対するニュートン法の反復と類似していることから、DDP反復が最適性条件を追跡することを示し、収束を確立する。
• 再帰的ニュートン型更新と誤差伝播解析を用いて、DDP反復が厳密な局所的ナッシュ均衡点の近傍で二次収束することを証明する。

実験結果

リサーチクエスチョン

• RQ1 単一エージェント最適制御に効果的であるDDPアルゴリズムは、複数エージェントが関与する非ゼロ和の動的ゲームへ一般化可能か？
• RQ2 価値関数の二次近似をどのように用いることで、非線形動的ゲームにおけるナッシュ均衡を計算する実行可能で反復可能なアルゴリズムを構築できるか？
• RQ3 提案されたDDPベースのアルゴリズムが局所的ナッシュ均衡点に収束するための条件は何か？
• RQ4 動的ゲームの文脈において、DDP反復はどの程度ニュートン法の反復に類似しているか？
• RQ5 非線形動的ゲームの実例、特にエージェント間の非自明な結合性を持つ問題に対して、このアルゴリズムはどのように性能を発揮するか？

主な発見

• 提案されたDDPアルゴリズムは、厳密な局所的ナッシュ均衡点の近傍で二次収束し、ニュートン法の収束特性を引き継ぐ。
• DDPとニュートン法の反復の差は、$ O(\rho^2) $ で有界であり、ここで $ \rho $ は均衡点からの距離を測る量である。これにより、高速な局所的収束が保証される。
• 1次元の所有者・犬の動的ゲームにおける数値結果から、両エージェントの累積コストが反復を経て減少し、現在の入力と均衡入力との2ノルム誤差が対数スケールで非線形に減少する——二次収束の証拠である。
• アルゴリズムは、犬が所有者に近づくように学習する軌道を効果的に計算でき、所有者も目標に到達するように入力を調整するなど、協調的行動を示している。
• この手法は全情報（全エージェントの行動）と明示的なモデル知識を必要とし、ステディステート手法とは異なり、有限ホライズンでの均衡計算が可能である。
• 理論的にはスケーラブルであり、確率的ゲームや不完全情報問題への拡張が可能であるが、大規模な数値的性能は今後の課題である。