[论文解读] Mean Field Stochastic Games with Binary Action Spaces and Monotone Costs

Minyi Huang, Yan Ma|arXiv (Cornell University)|Jan 23, 2017

Electric Vehicles and Infrastructure参考文献 20被引用 11

一句话总结

本文研究具有二元动作和连续状态的平均场随机博弈，其中参与者面临风险水平动态并以阈值策略进行控制。通过分析闭环状态过程的遍历性，证明了在正外部性条件下平稳解的唯一性，为具有单调成本的大型群体决策系统提供了可处理的框架。

ABSTRACT

This paper considers mean field games in a multi-agent Markov decision process (MDP) framework. Each player has a continuum state and binary action. By active control, a player can bring its state to a resetting point. All players are coupled through their cost functions. The structural property of the individual strategies is characterized in terms of threshold policies when the mean field game admits a solution. We further introduce a stationary equation system of the mean field game and analyze uniqueness of its solution under positive externalities.

研究动机与目标

• 建立具有二元动作和连续状态的大型群体随机博弈模型，其中参与者面临风险水平动态。
• 在平均场均衡下，表征个体策略为阈值策略。
• 通过分析闭环状态过程的遍历性，证明在正外部性条件下平稳解的唯一性。
• 为非线性平均场博弈（超越线性-二次情形）提供一个可处理的框架。

提出的方法

• 将系统建模为具有二元动作（不作为或重置）和状态空间 [0,1]（表示风险水平）的多智能体马尔可夫决策过程。
• 推导出玩家的最佳响应为阈值策略，即当状态超过临界阈值时触发控制。
• 引入平均场博弈的平稳方程组，并通过个体玩家状态过程的遍历性分析其解的唯一性。
• 使用再生过程理论和马尔可夫链分析，研究在阈值控制下状态过程的长期平均行为。
• 通过比较具有不同阈值的马尔可夫链，运用随机占优论证，证明长期平均状态的单调性。
• 采用耦合论证，利用具有不同吸收阈值的辅助马尔可夫链，比较期望累积状态值。

实验结果

研究问题

• RQ1 在何种条件下，具有二元动作和连续状态的平均场博弈能以阈值策略形式存在解？
• RQ2 玩家的长期平均状态如何依赖于阈值策略和平均场？
• RQ3 在正外部性条件下，何种条件可确保平均场博弈平稳解的唯一性？
• RQ4 闭环状态过程的遍历性与平均场均衡唯一性之间有何关系？
• RQ5 能否严格证明长期平均状态关于阈值的单调性？

主要发现

• 每个玩家的最佳响应策略为阈值策略，即当状态超过临界值时执行控制。
• 在阈值策略下，玩家的长期平均状态是阈值参数的非递减函数。
• 通过分析闭环状态过程的遍历性，在正外部性条件下建立了平均场方程组平稳解的唯一性。
• 通过辅助马尔可夫链之间的随机占优关系，证明了期望长期平均状态严格随阈值参数增加。
• 在平均场诱导正外部性的条件下，平稳方程组的解是唯一的，该结论通过比较累积状态期望值得以证明。
• 分析表明，由于状态过程的遍历性，平均场均衡对初始状态分布具有鲁棒性。