[论文解读] Nonzero-sum stochastic games with impulse controls

Matteo Basei, Haoyang Cao+1 more|arXiv (Cornell University)|Jan 23, 2019

Economic theories and models被引用 7

一句话总结

本文研究具有脉冲控制的非零和N人随机博弈，采用验证方法推导出纳什均衡的充分条件。研究证明，带有脉冲控制的平均场博弈可作为N人博弈的ϵ-纳什均衡近似，其中ϵ = 1/√N，并将该框架应用于广义现金管理问题，表明竞争如何改变最优策略，与单玩家情形相比有显著差异。

ABSTRACT

We consider a general class of nonzero-sum $N$-player stochastic games with impulse controls, where players control the underlying dynamics with discrete interventions. We adopt a verification approach and provide sufficient conditions for the Nash equilibria (NEs) of the game. We then consider the limit situation of $N o \infty$, that is, a suitable mean-field game (MFG) with impulse controls. We show that under appropriate technical conditions, the MFG is an $\epsilon$-NE approximation to the $N$-player game, with $\epsilon=\frac{1}{\sqrt{N}}$. As an example, we analyze in details a class of stochastic games which extends the classical cash management problem to the game setting. In particular, we characterize the NEs for its two-player case and compare the results to the single-player case, showing the impact of competition on the player's optimal strategy, with sensitivity analysis of the model parameters.

研究动机与目标

• 为具有脉冲控制的N人随机博弈推导纳什均衡的充分条件。
• 分析当N → ∞时的极限行为，从而导出平均场博弈（MFG）形式化。
• 建立MFG解作为N人博弈的ϵ-纳什均衡近似，其中ϵ = 1/√N。
• 将经典现金管理问题扩展至博弈论框架，并分析战略互动。
• 通过敏感性分析量化竞争对最优脉冲控制策略的影响。

提出的方法

• 采用验证方法，通过耦合的拟变分不等式系统刻画纳什均衡。
• 通过受控跳跃-扩散过程建模玩家动态，辅以离散干预（脉冲控制）。
• 通过求解带有干预约束的耦合HJB型方程组，推导纳什均衡的充分条件。
• 取N → ∞的极限，推导出包含代表性代理人和控制经验分布的平均场博弈形式。
• 在互动结构的技术条件约束下，建立MFG解收敛至N人博弈ϵ-纳什均衡（其中ϵ = 1/√N）的结论。
• 将该框架应用于经典现金管理问题的两人扩展，数值求解均衡，并与单玩家情形进行比较。

实验结果

研究问题

• RQ1 在具有脉冲控制的N人随机博弈中，纳什均衡存在的条件是什么？
• RQ2 平均场博弈近似在多大程度上能有效表示N人博弈？收敛速率如何？
• RQ3 在两人现金管理博弈中，相较于单玩家情形，竞争如何改变最优脉冲控制策略？
• RQ4 均衡策略对漂移、波动率及干预成本等模型参数的敏感性如何？
• RQ5 验证方法能否系统性地应用于刻画一般非零和脉冲控制博弈中的均衡？

主要发现

• 通过涉及耦合拟变分不等式的验证方法，推导出N人脉冲控制随机博弈中纳什均衡的充分条件。
• 在适当的技术条件下，带有脉冲控制的平均场博弈可作为N人博弈的ϵ-纳什均衡近似，其中ϵ = 1/√N。
• 在现金管理问题的两人扩展中，竞争导致干预策略比单玩家情形更加激进。
• 敏感性分析表明，均衡中干预频率与阈值显著受对手控制策略及成本参数的影响。
• 博弈设定下的均衡结构与单智能体最优控制情形存在定性差异，表明存在战略互补或替代效应。
• MFG近似的收敛速率被量化为ϵ = 1/√N，为脉冲控制博弈中平均场近似提供了严格的误差界。