[论文解读] Stochastic Games for Fuel Followers Problem: N vs MFG

Xin Guo, Renyuan Xu|arXiv (Cornell University)|Mar 8, 2018

Stochastic processes and financial applications参考文献 33被引用 9

一句话总结

该论文为带有奇异控制的经典燃油跟随问题形式化并求解了N人随机博弈及其对应的平均场博弈（MFG）版本。推导出两种设定下的显式纳什均衡，表明N人博弈的纳什均衡是状态相关的，而MFG纳什均衡是具有状态无关阈值的阈值型bang-bang策略，并证明MFG解是N人博弈的ϵ-纳什均衡，其中ϵ=O(1/√N)。

ABSTRACT

In this paper we formulate and analyze an $N$-player stochastic game of the classical fuel follower problem and its Mean Field Game (MFG) counterpart. For the $N$-player game, we obtain the Nash Equilibrium (NE) explicitly by deriving and analyzing a system of Hamilton--Jacobi--Bellman (HJB) equations, and by establishing the existence of a unique strong solution to the associated Skorokhod problem on an unbounded polyhedron with an oblique reflection. For the MFG, we derive a bang-bang type NE under some mild technical conditions and by the viscosity solution approach. We also show that this solution is an $ε$-NE to the $N$-player game, with $ε=O(\frac{1}{\sqrt{N}})$. The $N$-player game and the MFG differ in that the NE for the former is state dependent while the NE for the latter is threshold-type bang-bang policy where the threshold is state independent. Our analysis shows that the NE for a stationary MFG may not be the NE for the corresponding MFG.

研究动机与目标

• 为带有奇异控制的燃油跟随问题形式化并分析N人随机博弈，其中每个玩家最小化控制成本与所有对象平均位置之间的距离。
• 通过哈密顿-雅可比-贝尔曼（HJB）方程系统和在无界多面体上具有倾斜反射的斯科罗霍德问题，显式推导N人博弈的纳什均衡（NE）。
• 研究当N→∞时对应的平均场博弈（MFG）极限，其中每个玩家与群体的经验均值相互作用，利用粘性解技术推导出一种bang-bang型纳什均衡。
• 比较N人博弈与MFG在均衡性质上的结构性差异，特别是：状态相关与状态无关阈值的区别。
• 建立MFG纳什均衡是N人博弈的ϵ-纳什均衡，其中ϵ=O(1/√N)，量化MFG近似的收敛性。

提出的方法

• 将N人博弈形式化为带有奇异控制的随机微分博弈，其中每个玩家的成本取决于控制努力程度和与所有N个对象平均位置的L²距离。
• 推导值函数的HJB方程组，并证明验证定理以刻画反馈型纳什均衡。
• 证明在无界多面体上具有倾斜反射的斯科罗霍德问题存在唯一强解，从而实现均衡控制策略的构造。
• 对于MFG极限，分析耦合的前向-后向PDE系统（HJB方程与福克-普朗克方程），利用对称性与凸性，推导出具有状态无关阈值的bang-bang型纳什均衡。
• 使用粘性解方法建立MFG均衡，并在较弱的技术条件下验证其最优性。
• 通过稳定性与收敛性论证，量化近似误差，证明MFG纳什均衡是N人博弈的ϵ-纳什均衡，其中ϵ=O(1/√N)。

实验结果

研究问题

• RQ1 在带有奇异控制的燃油跟随问题中，有限玩家随机博弈与其平均场博弈（MFG）极限的纳什均衡结构有何不同？
• RQ2 尽管存在高维性和梯度约束，是否能够为具有奇异控制和对称凸成本函数的N人博弈显式推导出纳什均衡？
• RQ3 MFG解是否收敛为N人博弈的ϵ-纳什均衡？其收敛速率如何？
• RQ4 为何在此设定下MFG形式化退化为单玩家问题？这与N人博弈的均衡结构有何本质区别？
• RQ5 均值场信息的聚合在改变均衡策略结构方面起到何种作用，特别是在状态依赖性阈值方面？

主要发现

• N人博弈的纳什均衡被显式刻画为一种状态相关的反馈控制策略，其来源于求解HJB方程组与具有倾斜反射的斯科罗霍德问题。
• 对于MFG极限，均衡为一种具有状态无关阈值的bang-bang策略，通过粘性解技术以及耦合HJB与福克-普朗克方程的结构推导得出。
• 证明MFG均衡是N人博弈的ϵ-纳什均衡，其中ϵ=O(1/√N)，确立了均值场近似的收敛速率。
• MFG解在结构上退化为单玩家问题，因为其均衡阈值与当前状态无关，而N人博弈的纳什均衡则依赖于状态。
• 当N→∞时，MFG解的阈值收敛至经典燃油跟随问题的阈值c_N → c，确认了在均值场极限下的自洽性。
• 当N=2时，对称结构允许存在多个均衡，表明有限玩家设定下存在非唯一性，而MFG均衡则唯一。