[論文レビュー] Nonzero-sum stochastic games and mean-field games with impulse controls

Matteo Basei, Haoyang Cao+1 more|arXiv (Cornell University)|Jan 23, 2019

Stochastic processes and financial applications参考文献 40被引用数 11

ひとこと要約

本稿は、インパルス制御を伴う非ゼロサムの確率的ゲームにおけるナッシュ均衡の検証フレームワークを開発し、N人プレイヤーのゲームに対して十分条件を確立し、平均場ゲーム（MFG）解が ϵ=O(1/√N) の ϵ-ナッシュ均衡を提供することを証明している。この理論を2人プレイヤーのキャッシュマネジメントゲームに適用し、競争が介入の頻度を低下させつつも、より大きな干渉をもたらし、制御の効率性を向上させることを示している。

ABSTRACT

We consider a general class of nonzero-sum $N$-player stochastic games with impulse controls, where players control the underlying dynamics with discrete interventions. We adopt a verification approach and provide sufficient conditions for the Nash equilibria (NEs) of the game. We then consider the limit situation of $N o \infty$, that is, a suitable mean-field game (MFG) with impulse controls. We show that under appropriate technical conditions, the existence of unique NE solution to the MFG, which is an $ε$-NE approximation to the $N$-player game, with $ε=O\left(\frac{1}{\sqrt{N}} ight)$. As an example, we analyze in details a class of two-player stochastic games which extends the classical cash management problem to the game setting. In particular, we present numerical analysis for the cases of the single player, the two-player game, and the MFG, showing the impact of competition on the player's optimal strategy, with sensitivity analysis of the model parameters.

研究の動機と目的

• インパルス制御を伴う非ゼロサムN人プレイヤーの確率的ゲームにおけるナッシュ均衡の十分条件を、検証的手法を用いて確立すること。
• N→∞ の極限における挙動を分析し、対応する平均場ゲーム（MFG）における一意なナッシュ均衡の存在条件を導出すること。
• MFG解が、N人プレイヤーのゲームにおける ϵ-ナッシュ均衡近似として機能することを示すこと。
• 2人プレイヤーのキャッシュマネジメントゲームの詳細な分析を通じて、競争が最適制御戦略に与える影響を調査すること。
• モデルのパラメータに対する感度分析を行い、単一プレイヤー、2人プレイヤー、および平均場ゲーム設定における最適方策を比較すること。

提案手法

• 介入時におけるディラックのデルタ関数によって駆動されるジャンプ構造を有する確率的微分方程式を用いて、N人プレイヤーのインパルス制御ゲームを定式化する。
• 運行コスト、個別制御コスト、および他のプレイヤーの介入による相互影響コストを含むペイオフ関数を定義する。
• インパルス制御に起因する非局所的作用素を組み込んだ、ナッシュ均衡の必要条件としての準変分不等式（QVI）の系を導出する。
• 適切な正則性および境界条件の下で、QVIの解がナッシュ均衡に対応することを検証定理を用いて示す。
• N→∞ の際に状態の経騣分布を考慮することで、平均場ゲームの極限を構築し、McKean–Vlasov型の定式化に至る。
• 係数および制御に関する適切な技術的仮定の下で、MFGの解が、N人プレイヤーのゲームにおける ϵ-ナッシュ均衡であることを証明する（ϵ=O(1/√N）

実験結果

リサーチクエスチョン

• RQ1 インパルス制御を伴う非ゼロサムN人プレイヤーの確率的ゲームにおいて、ナッシュ均衡が存在する条件は何か？
• RQ2 このようなゲームの平均場ゲーム極限は、元のN人プレイヤーのゲームにおける均衡近似に関して、どのように関係するか？
• RQ3 MFG解がN人プレイヤーのゲームにおける ϵ-ナッシュ均衡にどの程度の速度で収束するか？
• RQ4 競争は、単一エージェント設定と比較して、最適インパルス制御戦略にどのように影響を与えるか？
• RQ5 制御コスト、ボラティリティ、割引率の変化が、ゲームにおける閾値および状態過程の長期的挙動に与える影響は何か？

主な発見

• 本稿は、準変分不等式（QVI）の系を用いた、N人プレイヤーのインパルス制御確率的ゲームにおけるナッシュ均衡の検証定理を確立した。
• 適切な技術的仮定の下で、平均場ゲーム（MFG）の解は、N人プレイヤーのゲームにおける ϵ-ナッシュ均衡である（ϵ=O(1/√N）
• 2人プレイヤーのキャッシュマネジメントゲームにおいて、競争は単一プレイヤーの場合と比較して、介入の頻度を低下させつつも、より大きなジャンプサイズをもたらす。
• 感度分析により、状態を減少させるための固定コスト（K⁻）を増加させると、非作用領域の上界（u）が上昇し、介入頻度が低下することが示された。
• 状態を増加させるための固定コスト（K⁺）を増加させると、下界（d）が低下し、これも介入頻度の低下をもたらす一方で、K⁻ と K⁺ の両方がジャンプサイズを増大させる。
• ボラティリティ（σ）または割引率（r）を上昇させると、介入頻度が低下し、ジャンプサイズが増大する。σが上昇すると平均状態レベルが上昇し、rが上昇すると最初は上昇し、その後減少する。