[论文解读] Approximate Nash Equilibria in Partially Observed Stochastic Games with Mean-Field Interactions

Naci Saldı, Tamer Başar+1 more|arXiv (Cornell University)|May 4, 2017

Economic theories and models被引用 4

一句话总结

本文在无限时域折扣成本准则下，证明了在部分观测、具有平均场交互作用的离散时间随机博弈中纳什均衡的存在性。通过将部分观测问题转化为信念空间上的完全观测问题并应用动态规划，证明了在满足最小技术条件时，当参与者数量足够多时，平均场均衡策略构成一个近似纳什均衡。

ABSTRACT

Establishing the existence of Nash equilibria for partially observed stochastic dynamic games is known to be quite challenging, with the difficulties stemming from the noisy nature of the measurements available to individual players (agents) and the decentralized nature of this information. When the number of players is sufficiently large and the interactions among agents is of the mean-field type, one way to overcome this challenge is to investigate the infinite-population limit of the problem, which leads to a mean-field game. In this paper, we consider discrete-time partially observed mean-field games with infinite-horizon discounted cost criteria. Using the technique of converting the original partially observed stochastic control problem to a fully observed one on the belief space and the dynamic programming principle, we establish the existence of Nash equilibria for these game models under very mild technical conditions. Then, we show that the mean-field equilibrium policy, when adopted by each agent, forms an approximate Nash equilibrium for games with sufficiently many agents.

研究动机与目标

• 解决在具有分散、噪声观测的代理人中建立纳什均衡的挑战，这些博弈具有平均场交互作用。
• 将平均场博弈理论扩展至具有部分观测的离散时间模型，弥补了现有文献中相较于连续时间分析的空白。
• 通过信念空间重构与动态规划，证明在极轻微技术条件下纳什均衡的存在性。
• 证明当参与者数量较大时，平均场均衡策略在有限参与者博弈中构成近似纳什均衡。
• 为将平均场博弈技术应用于具有不完全信息的实际分散决策系统提供严谨基础。

提出的方法

• 通过代理人的状态分布信念空间，将原始的部分观测随机控制问题转化为完全观测问题。
• 应用动态规划原理，推导平均场均衡策略的最优性条件。
• 利用纳什certainty equivalence（NCE）原理，确保代理人策略与平均场分布流之间的一致性。
• 通过过渡核的等度连续性与有界性，证明经验分布向平均场分布的弱收敛。
• 利用过渡核与代价函数的统一有界性与等度连续性，证明时间步长间分布的收敛性。
• 通过时间步长的归纳法，证明有限参与者系统与平均场极限之间状态分布律的收敛性。

实验结果

研究问题

• RQ1 在无限时域折扣成本下，离散时间部分观测的平均场随机博弈中，纳什均衡在何种条件下存在？
• RQ2 如何处理代理人信息的部分观测性，以实现在大群体随机博弈中的均衡分析？
• RQ3 当参与者数量较多时，平均场均衡策略在有限参与者博弈中作为近似纳什均衡的程度如何？
• RQ4 信念空间变换与动态规划方法是否可在最小技术假设下建立均衡的存在性？
• RQ5 经验分布向平均场分布的收敛在验证近似均衡性质中起什么作用？

主要发现

• 本文在极轻微技术条件下（包括过渡核与代价函数的有界性与连续性）证明了离散时间部分观测平均场博弈中纳什均衡的存在性。
• 通过信念空间变换与动态规划导出的平均场均衡策略，在参与者数量足够多时构成有限参与者博弈的近似纳什均衡。
• 通过等度连续性与弱收敛论证，证明了代理人状态经验分布向平均场分布的收敛性。
• 证明依赖于时间步长的归纳法，表明有限参与者系统中首个代理人的状态分布收敛于平均场极限中的分布。
• 信念空间变换使得标准动态规划技术可应用于部分观测问题。
• 该结果适用于一般波兰状态空间，且无需强假设（如紧致性或Lipschitz连续性），仅需对过渡与代价函数施加最小条件。