[论文解读] Independent Policy Gradient for Large-Scale Markov Potential Games: Sharper Rates, Function Approximation, and Game-Agnostic Convergence

Dong-Sheng Ding, Chen-Yu Wei+2 more|arXiv (Cornell University)|Feb 8, 2022

Reinforcement Learning in Robotics被引用 7

一句话总结

本文提出了一种用于大规模马尔可夫势博弈（MPGs）的独立策略梯度算法，实现了对状态空间大小无显式依赖的 ε-纳什均衡的 O(1/ε²) 迭代复杂度，以及在使用线性函数逼近时的 O(1/ε⁵) 样本复杂度。此外，该研究还建立了适用于零和与合作型马尔可夫博弈的一类乐观策略梯度方法的无游戏依赖收敛性，并通过实验验证了该方法对初始状态分布的鲁棒性。

ABSTRACT

We examine global non-asymptotic convergence properties of policy gradient methods for multi-agent reinforcement learning (RL) problems in Markov potential games (MPG). To learn a Nash equilibrium of an MPG in which the size of state space and/or the number of players can be very large, we propose new independent policy gradient algorithms that are run by all players in tandem. When there is no uncertainty in the gradient evaluation, we show that our algorithm finds an $ε$-Nash equilibrium with $O(1/ε^2)$ iteration complexity which does not explicitly depend on the state space size. When the exact gradient is not available, we establish $O(1/ε^5)$ sample complexity bound in a potentially infinitely large state space for a sample-based algorithm that utilizes function approximation. Moreover, we identify a class of independent policy gradient algorithms that enjoys convergence for both zero-sum Markov games and Markov cooperative games with the players that are oblivious to the types of games being played. Finally, we provide computational experiments to corroborate the merits and the effectiveness of our theoretical developments.

研究动机与目标

• 为解决大规模多智能体强化学习中独立策略梯度方法缺乏非渐近全局收敛保证的问题。
• 开发在马尔可夫势博弈（MPGs）中能随状态空间大小和玩家数量高效扩展的算法。
• 建立一种单一算法在无需知晓博弈类型的情况下，同时在零和与合作型马尔可夫博弈中实现收敛。
• 为 MPGs 中函数逼近设置下的迭代复杂度与样本复杂度提供理论边界。
• 通过计算实验验证所提方法对初始状态分布的鲁棒性。

提出的方法

• 提出算法 1：一种用于 MPGs 的独立策略梯度方法，实现与状态空间大小无关的 O(1/ε²) 迭代复杂度。
• 提出算法 2：一种基于样本的策略梯度方法，采用线性函数逼近，在潜在无限状态空间中实现 O(1/ε⁵) 样本复杂度。
• 设计算法 3：一种乐观策略梯度变体，可在零和与合作型马尔可夫博弈中收敛，实现无游戏依赖学习。
• 采用带策略参数化的投影梯度上升，并利用势博弈结构实现玩家更新的解耦。
• 使用带函数逼近的策略梯度估计器以处理大规模或无限状态空间。
• 通过在不同初始状态分布下进行实验评估，验证方法对 ρ 的不敏感性，从而支持理论结论。

实验结果

研究问题

• RQ1 独立策略梯度方法是否能在大规模马尔可夫势博弈中实现非渐近全局收敛？
• RQ2 当状态空间大小较大或为无限时，独立策略梯度方法在 MPGs 中的迭代复杂度是多少？
• RQ3 在 MPGs 中，能否有效结合函数逼近与独立策略梯度方法，同时保持收敛性保证？
• RQ4 是否存在一种单一策略梯度算法，可在无需知晓博弈类型的情况下，同时在零和与合作型马尔可夫博弈中收敛？
• RQ5 在实际中，所提算法的性能在多大程度上依赖于初始状态分布？

主要发现

• 所提独立策略梯度方法在 MPGs 中实现 O(1/ε²) 迭代复杂度以寻找 ε-纳什均衡，且与状态空间大小无关。
• 在使用线性函数逼近时，基于样本的算法在潜在无限状态空间中实现 O(1/ε⁵) 样本复杂度。
• 一种乐观策略梯度算法在零和与合作型马尔可夫博弈中均实现收敛，首次实现了马尔可夫博弈中的无游戏依赖收敛结果。
• 计算实验表明，所提方法对初始状态分布的变化具有鲁棒性，而投影梯度方法则依赖于 ρ。
• 该方法在收敛速度和不同初始状态分布下的稳定性方面，优于基线的投影随机梯度上升方法。
• 理论与实证结果共同表明，即使在接近退化的初始状态分布下，该算法仍能保持性能。