[论文解读] Mean Field Asymptotics of Markov Decision Evolutionary Games and Teams

Hamidou Tembiné, J.-Y. Le Boudec+2 more|arXiv (Cornell University)|Sep 13, 2011

Stochastic processes and statistical mechanics参考文献 6被引用 5

一句话总结

本文提出了一套针对大规模群体马尔可夫决策演化博弈与团队博弈的平均场渐近框架，表明当玩家数量 N→∞ 时，系统弱收敛于由常微分方程（ODE）系统驱动的确定性跳跃过程。核心贡献在于有限-N微观博弈与宏观平均场随机博弈之间的等价性，使得可通过基于 ODE 的近似方法实现近似最优策略的构造与均衡分析。

ABSTRACT

We introduce Mean Field Markov games with $N$ players, in which each individual in a large population interacts with other randomly selected players. The states and actions of each player in an interaction together determine the instantaneous payoff for all involved players. They also determine the transition probabilities to move to the next state. Each individual wishes to maximize the total expected discounted payoff over an infinite horizon. We provide a rigorous derivation of the asymptotic behavior of this system as the size of the population grows to infinity. Under indistinguishability per type assumption, we show that under any Markov strategy, the random process consisting of one specific player and the remaining population converges weakly to a jump process driven by the solution of a system of differential equations. We characterize the solutions to the team and to the game problems at the limit of infinite population and use these to construct near optimal strategies for the case of a finite, but large, number of players. We show that the large population asymptotic of the microscopic model is equivalent to a (macroscopic) mean field stochastic game in which a local interaction is described by a single player against a population profile (the mean field limit). We illustrate our model to derive the equations for a dynamic evolutionary Hawk and Dove game with energy level.

研究动机与目标

• 分析大规模群体马尔可夫决策演化博弈中，每个玩家与随机选取的其他玩家交互时的渐近行为。
• 在 N→∞ 的极限下推导出严格结果，表明单个玩家与群体过程弱收敛于由常微分方程（ODE）驱动的确定性跳跃过程。
• 建立有限-N微观博弈与宏观平均场随机博弈之间的等价性，从而实现均衡与策略分析的简化。
• 利用极限 ODE 系统为有限但较大的 N 构造近似最优策略。
• 将该框架应用于具有能量状态的动态演化鹰鸽博弈，推导出平均场极限下的显式方程。

提出的方法

• 建立一个包含 N 个玩家的系统，每个玩家具有个体状态（类型与内部状态），在离散时间 t∈{0,1/N,2/N,…} 上演化，其中交互由受控马尔可夫链决定。
• 将群体分布 M^N(t) 定义为玩家状态的经验测度，并在温和假设下证明 M^N(t) 弱收敛于满足非线性 ODE 的确定性测度 m(t)。
• 使用 ODE 系统 f(u,m) 描述在固定策略 u 下的平均场演化，从而将 N 人博弈简化为单个玩家与平均场对抗的决策问题。
• 应用非原子马尔可夫决策博弈理论与盲视均衡理论，推导极限下平稳均衡的存在性。
• 利用有限-N收益 R^N 对极限收益 R 的一致收敛性，并应用 Kakutani 不动点定理，证明渐近状态下均衡的存在性。
• 通过控制收敛与时间重标度论证（λ^N(t)→t），证明折扣收益积分在极限下的收敛性。

实验结果

研究问题

• RQ1 当 N→∞ 时，大规模群体马尔可夫决策演化博弈的行为如何收敛？
• RQ2 在平均场范式下，单个玩家与其余群体之间的相互作用由何种极限系统描述？
• RQ3 在何种条件下，有限-N博弈收敛于确定性的平均场 ODE 系统？
• RQ4 如何利用平均场近似为大但有限的 N 构造均衡与近似最优策略？
• RQ5 在极限下，微观博弈与宏观平均场随机博弈之间存在何种关系？

主要发现

• 在每类内部可区分且满足温和假设下，单个玩家与其余群体的联合过程弱收敛于由非线性 ODE 系统驱动的跳跃过程。
• 平均场极限等价于一个宏观马尔可夫决策演化博弈，其中单个玩家面对随 ODE 演化的群体分布。
• 有限-N博弈中的折扣收益一致收敛于极限收益 R(u,u)，从而支持渐近均衡分析。
• 对任意 β>0，有限-N博弈至少存在一个 0-最优平稳策略，且在收益对称时，对称均衡的存在性得到保证。
• 任何满足 ϵ_N→0 的 ϵ_N-均衡序列的极限点均为平均场极限下的 0-均衡，确保近似均衡的收敛性。
• 该框架成功建模了具有能量状态的动态演化鹰鸽博弈，推导出平均场动力学的显式 ODE 方程。