[论文解读] Gradient Play in Multi-Agent Markov Stochastic Games: Stationary Points and Convergence

Runyu Zhang, Zhaolin Ren+1 more|arXiv (Cornell University)|Jun 1, 2021

Reinforcement Learning in Robotics参考文献 39被引用 8

一句话总结

本文分析了多智能体表格型马尔可夫随机博弈中的梯度博弈，表明纳什均衡（NE）与一阶驻定策略等价。在马尔可夫势博弈中，建立了对 $\backslash$ epsilon$-NE 的非渐近全局收敛速率，其迭代复杂度与智能体数量呈线性关系，并刻画了纳什均衡的局部稳定性和几何结构。

ABSTRACT

We study the performance of the gradient play algorithm for multi-agent tabular Markov decision processes (MDPs), which are also known as stochastic games (SGs), where each agent tries to maximize its own total discounted reward by making decisions independently based on current state information which is shared between agents. Policies are directly parameterized by the probability of choosing a certain action at a given state. We show that Nash equilibria (NEs) and first order stationary policies are equivalent in this setting, and give a non-asymptotic global convergence rate analysis to an $\epsilon$-NE for a subclass of multi-agent MDPs called Markov potential games, which includes the cooperative setting with identical rewards among agents as an important special case. Our result shows that the number of iterations to reach an $\epsilon$-NE scales linearly, instead of exponentially, with the number of agents. Local geometry and local stability are also considered. For Markov potential games, we prove that strict NEs are local maxima of the total potential function and fully-mixed NEs are saddle points. We also give a local convergence rate around strict NEs for more general settings.

研究动机与目标

• 分析多智能体马尔可夫决策过程（MDP）中梯度博弈的收敛性质，亦即随机博弈（SGs）。
• 在该设定下，建立纳什均衡（NEs）与一阶驻定策略之间的等价性。
• 为马尔可夫势博弈（多智能体 MDP 的一个子类）提供至 $\backslash$ epsilon$-NE 的非渐近全局收敛速率。
• 刻画马尔可夫势博弈中纳什均衡的局部几何结构与稳定性，包括其与总势函数的关系。
• 通过局部几何与稳定性分析，将收敛性分析扩展至更一般设定，研究严格纳什均衡附近的局部收敛速率。

提出的方法

• 直接通过每个状态的动作概率参数化策略，使每个智能体能够基于梯度进行优化。
• 应用梯度博弈，其中每个智能体使用自身期望折扣奖励的梯度来更新策略。
• 利用马尔可夫势博弈的结构分析收敛性，其中博弈动态由全局势函数导出。
• 证明严格纳什均衡对应于总势函数的局部极大值，而完全混合纳什均衡是该函数的鞍点。
• 推导出至 $\backslash$ epsilon$-NE$ 的非渐近全局收敛速率，表明其与智能体数量呈线性依赖关系。
• 通过局部几何与稳定性分析，在一般设定下建立严格纳什均衡附近的局部收敛速率。

实验结果

研究问题

• RQ1 在多智能体表格型 MDP 中，纳什均衡与一阶驻定策略之间是否存在等价性？
• RQ2 在马尔可夫势博弈中，梯度博弈收敛至 $\backslash$ epsilon$-纳什均衡的全局收敛速率是多少？
• RQ3 在马尔可夫势博弈中，纳什均衡的局部几何结构如何与总势函数相关联？
• RQ4 严格纳什均衡是否为势函数的局部极大值？完全混合纳什均衡是否为该函数的鞍点？
• RQ5 在一般多智能体 MDP 中，围绕严格纳什均衡可实现何种局部收敛速率？

主要发现

• 在多智能体表格型 MDP 中，纳什均衡与一阶驻定策略等价。
• 在马尔可夫势博弈中，达到 $\backslash$ epsilon$-纳什均衡所需的迭代次数与智能体数量呈线性关系。
• 在马尔可夫势博弈中，严格纳什均衡是总势函数的局部极大值。
• 在马尔可夫势博弈中，完全混合纳什均衡是总势函数的鞍点。
• 在更一般的多智能体 MDP 设定中，围绕严格纳什均衡建立了局部收敛速率。
• 该分析为马尔可夫势博弈提供了至 $\backslash$ epsilon$-NE$ 的非渐近全局收敛保证。