[论文解读] Dynamic Population Games: A Tractable Intersection of Mean-Field Games and Population Games

Ezzat Elokda, Saverio Bolognani+3 more|arXiv (Cornell University)|Apr 29, 2021

Game Theory and Applications参考文献 32被引用 4

一句话总结

本文提出动态种群博弈（dynamic population games），这是一种新颖的框架，通过为代理赋予随时间变化的状态以及固定的类型，将平均场博弈与种群博弈相结合。研究证明，这些动态博弈中的稳态均衡可简化为经典种群博弈中的标准纳什均衡，从而实现可处理的分析，并在自动驾驶和流行病建模等领域的实际应用中具有潜力。

ABSTRACT

In many real-world large-scale decision problems, self-interested agents have individual dynamics and optimize their own long-term payoffs. Important examples include the competitive access to shared resources (e.g., roads, energy, or bandwidth) but also non-engineering domains like epidemic propagation and control. These problems are natural to model as mean-field games. Existing mathematical formulations of mean field games have had limited applicability in practice, since they require solving non-standard initial-terminal-value problems that are tractable only in limited special cases. In this letter, we propose a novel formulation, along with computational tools, for a practically relevant class of Dynamic Population Games (DPGs), which correspond to discrete-time, finite-state-and-action, stationary mean-field games. Our main contribution is a mathematical reduction of Stationary Nash Equilibria (SNE) in DPGs to standard Nash Equilibria (NE) in static population games. This reduction is leveraged to guarantee the existence of a SNE, develop an evolutionary dynamics-based SNE computation algorithm, and derive simple conditions that guarantee stability and uniqueness of the SNE. We provide two examples of applications: fair resource allocation with heterogeneous agents and control of epidemic propagation. Open source software for SNE computation: https://gitlab.ethz.ch/elokdae/dynamic-population-games

研究动机与目标

• 建模大规模群体中的策略互动，其中代理具有固定类型和随时间变化的状态，且这些状态会影响其决策，同时受其决策的影响。
• 通过引入匿名性和宏观状态分布，克服随机博弈在大规模群体中的局限性。
• 提出一种解概念——稳态均衡，确保所有代理均采取最优响应，且状态分布保持不变。
• 建立动态种群博弈向经典种群博弈的约化，简化均衡分析。
• 实现对现实世界系统的实用建模，如交通动态与具有策略性适应的流行病传播。

提出的方法

• 将代理建模为具有离散类型（固定特征）和离散时变状态（如饥饿、疲劳）的个体，其状态根据行动和群体状态分布而演化。
• 通过依赖于当前社会状态（行动与状态分布）的马尔可夫转移概率定义个体状态转移。
• 使用同步与异步交互模型推导社会层面的状态动态，其中后者通过泊松过程和无穷小时间步长推导得出。
• 基于状态-动作对与社会状态制定收益函数，支持在长期折扣收益下的效用最大化。
• 引入单阶段偏离原则，以简化动态决策过程，将无限时域优化问题简化为单步最优响应问题。
• 证明动态种群博弈中的稳态均衡在数学上等价于一个适当定义的经典种群博弈中的标准纳什均衡。

实验结果

研究问题

• RQ1 当代理具有随时间变化的内部状态，且这些状态影响其决策并受其决策影响时，如何建模大规模群体中的策略互动？
• RQ2 能否将动态大规模群体博弈的复杂性约化为经典静态种群博弈框架？
• RQ3 何种解概念可确保在代理状态持续演化的动态种群博弈中实现稳定与最优？
• RQ4 异步交互模型如何影响大规模群体中状态分布的演化？
• RQ5 在何种条件下可保证此类动态设定中稳态均衡的存在？

主要发现

• 每个动态种群博弈中至少存在一个稳态均衡，确保了稳定策略构型的存在性。
• 动态种群博弈中的稳态均衡在数学上等价于一个适当定义的经典种群博弈中的标准纳什均衡。
• 单阶段偏离原则通过将无限时域优化问题简化为单步最优响应问题，实现了均衡计算的可处理性。
• 社会状态动态被推导为微分方程组，其中异步模型通过泊松交互过程和无穷小时间分析推导得出。
• 状态分布按如下线性常微分方程演化：$\dot{d}_{\tau}[x] = \delta_{\tau} \left( \sum_{x' \in \mathcal{X}} d_{\tau}[x'] P_{\tau}[x \mid x'] - d_{\tau}[x] \right)$，捕捉流入与流出。
• 该框架可直接应用于现实世界系统，如去中心化的交通管理与具有策略行为的自适应流行病建模。