[論文レビュー] Numerical approximation of Nash equilibria for a class of non-cooperative differential games

Simone Cacace, Emiliano Cristiani+1 more|arXiv (Cornell University)|Sep 16, 2011

Economic theories and models参考文献 13被引用数 7

ひとこと要約

本稿では、動的計画法と固定点反復を用いて定常ハミルトニアン・ジャコビ方程式系を解くことで、多プレイヤー非協力的微分ゲームにおけるナッシュ均衡の近似のための新しい数値スキームを提示する。この手法は1次元および2次元のテストケースで収束を示し、不適切に定式化された設定でも頑健性を示すが、固定点を有しない系では収束不能が観察され、問題の構造に敏感であることが示された。

ABSTRACT

In this paper we propose a numerical method to obtain an approximation of Nash equilibria for multi-player non-cooperative games with a special structure. We consider the infinite horizon problem in a case which leads to a system of Hamilton-Jacobi equations. The numerical method is based on the Dynamic Programming Principle for every equation and on a global fixed point iteration. We present the numerical solutions of some two-player games in one and two dimensions. The paper has an experimental nature, but some features and properties of the approximation scheme are discussed.

研究の動機と目的

• 無限時間ホライズンで指数的割引コストを伴う非協力的微分ゲームにおけるナッシュ均衡の近似のための数値的手法を開発すること。
• 従来ゼロサムゲームに用いられてきた動的計画法に基づく近似スキームを、非ゼロサムで多プレイヤーの微分ゲームに拡張すること。
• 1次元および2次元での数値実験を通じて、提案スキームの収束性と安定性を分析すること。
• 不適切な設定や固定点写像における不連続性の下でのスキームの挙動を調査すること。
• ハミルトニアン・ジャコビ系を用いた微分ゲームにおけるナッシュ均衡のための最初の計算フレームワークを提供すること。

提案手法

• 各プレイヤーの価値関数に動的計画法の原理を適用することで、1階のハミルトニアン・ジャコビ方程式系が導かれる。
• 空間的および時間的離散化に、半ディスクリートおよび完全ディスクリートな有限差分スキームが用いられる。
• 結合された方程式系を解くためにグローバル固定点反復が採用され、すべての価値関数が同時に更新される。
• 定数の初期推定値を用い、収束が達成されるまで反復的に解を改善する。
• アルゴリズムはガウス＝ザイデル型の更新戦略を採用し、収束は固定点写像のヤコビアンの無限大ノルムを用いて監視される。
• 解析的解が既知の問題と、摂動や不連続性を含むケースに対してテストを行い、頑健性を評価する。

実験結果

リサーチクエスチョン

• RQ1 動的計画法に基づく数値スキームを、非協力的微分ゲームにおけるナッシュ均衡の計算に適応可能か？
• RQ2 固定点反復は、多プレイヤーゲームの結合ハミルトニアン・ジャコビ方程式系を解く際にどのように機能するか？
• RQ3 システムに不連続性や不適切な定式化が存在する場合、スキームの収束特性はいかなるものか？
• RQ4 価値関数が一意でない、または複数の固定点が存在する場合、スキームはどのように振る舞うか？
• RQ5 2次元設定において非凸または結合された力学系を扱えるか？

主な発見

• Test 1では、解析的解が既知の設定において、定数の初期推定値150を用いて、スキームが正確な解に収束した。
• Test 2では、δ = 2の摂動が加えられた系に対しても、スキームは妥当な近似に収束し、摂動なしのケースとよく一致した。
• Test 3では、値関数U1とU2は対称的であり、単位球内ではゼロに等しく、外側に一様に増加するという、問題の対称性に従った挙動を示した。
• 固定点写像のヤコビアンの無限大ノルムは1/(1+h)で有界であり、局所的収縮性を示し、反復の間で安定したままだった。
• Test 4では、写像Fに固定点が存在しないノードでは、アルゴリズムが収束しなかった。これは振動的挙動を示した。
• 不連続かつ区分的収縮的写像を持つノードでは、アルゴリズムは2つの固定点（PおよびQ）のいずれかに収束し、初期条件および局所的ダイナミクスに敏感であることが示された。