[论文解读] Gradient play in stochastic games: stationary points, convergence, and sample complexity

Runyu Zhang, Zhaolin Ren+1 more|arXiv (Cornell University)|Jun 1, 2021

Reinforcement Learning in Robotics参考文献 45被引用 4

一句话总结

本文建立了在直接参数化策略的随机博弈中，一阶平稳点与纳什均衡（NE）之间的等价性，证明了梯度博弈在严格NE附近的局部收敛性，并为马尔可夫势博弈提供了非渐近全局收敛速率。此外，设计了一种基于样本的去中心化强化学习算法，其样本复杂度为 $\widetilde{O}\left(\frac{n}{\epsilon^{6}}\textup{poly}\left(\frac{1}{1-\gamma},|\mathcal{S}|,\max_{i}|Γ_{i}| ight)\right)$，以达到 $\epsilon$-NE。

ABSTRACT

We study the performance of the gradient play algorithm for stochastic games (SGs), where each agent tries to maximize its own total discounted reward by making decisions independently based on current state information which is shared between agents. Policies are directly parameterized by the probability of choosing a certain action at a given state. We show that Nash equilibria (NEs) and first-order stationary policies are equivalent in this setting, and give a local convergence rate around strict NEs. Further, for a subclass of SGs called Markov potential games (which includes the setting with identical rewards as an important special case), we design a sample-based reinforcement learning algorithm and give a non-asymptotic global convergence rate analysis for both exact gradient play and our sample-based learning algorithm. Our result shows that the number of iterations to reach an $ε$-NE scales linearly, instead of exponentially, with the number of agents. Local geometry and local stability are also considered, where we prove that strict NEs are local maxima of the total potential function and fully-mixed NEs are saddle points.

研究动机与目标

• 理解在参数化策略的随机博弈中，一阶平稳点与纳什均衡（NE）之间的关系。
• 分析梯度博弈在严格NE附近的局部收敛行为，并刻画其稳定性。
• 为马尔可夫势博弈设计一种样本高效且完全去中心化的强化学习算法，并提供全局收敛保证。
• 量化在具有有限状态-动作空间的随机博弈中，学习 $\epsilon$-纳什均衡的样本复杂度。

提出的方法

• 将单智能体的梯度支配性质推广至多智能体随机博弈，以建立一阶平稳策略与NE之间的等价性。
• 利用局部几何与稳定性分析，研究梯度博弈在严格NE附近的局部收敛性。
• 引入马尔可夫势博弈（MPGs）的概念，其为随机博弈的一个子类，包含相同奖励设置，并证明在梯度博弈下可实现全局收敛至NE。
• 提出一种基于样本的完全去中心化强化学习算法，当其他智能体的策略固定时，利用每个智能体的平均MDP。
• 基于智能体的平均MDP进行模型基策略评估，以从样本中估计梯度。
• 采用非渐近分析，推导出样本复杂度界，其与智能体数量呈线性关系。

实验结果

研究问题

• RQ1 在具有参数化策略的随机博弈中，梯度博弈算法的一阶平稳点是否等价于纳什均衡？
• RQ2 梯度博弈在严格纳什均衡附近的局部稳定性和收敛行为如何？
• RQ3 在马尔可夫势博弈中，梯度博弈能否保证收敛至纳什均衡？
• RQ4 使用去中心化、基于样本的算法，在随机博弈中学习 $\epsilon$-纳什均衡的样本复杂度是多少？
• RQ5 智能体数量如何影响学习算法的收敛速率与样本效率？

主要发现

• 在直接参数化策略的随机博弈中，一阶平稳策略与纳什均衡等价，建立了优化与博弈论均衡之间的根本联系。
• 梯度博弈在有限步内局部收敛至严格纳什均衡，并为此设定建立了局部收敛速率。
• 严格纳什均衡是总势函数的局部最大值，表明其在梯度博弈动态下的稳定性。
• 完全混合纳什均衡在梯度博弈下为鞍点，意味着其不稳定，可能从这些点发散。
• 所提出的基于样本的强化学习算法以高概率在 $\widetilde{O}\left(\frac{n}{\epsilon^{6}}\textup{poly}\left(\frac{1}{1-\gamma},|\mathcal{S}|,\max_{i}|\mathcal{A}_{i}|\right)\right)$ 个样本内达到 $\epsilon$-纳什均衡。
• 样本复杂度与智能体数量 $n$ 呈线性关系，表明相比先前结果的指数级增长，具有更优的可扩展性。