[论文解读] Actor-Critic Algorithms for Learning Nash Equilibria in N-player General-Sum Games

H. L. Prasad, L. A. Prashanth+1 more|arXiv (Cornell University)|Jan 8, 2014

Game Theory and Applications参考文献 39被引用 5

一句话总结

本文提出了两种演员-评论家算法，即 OFF-SGSP（基于模型）和 ON-SGSP（无模型），用于在 N 人一般和随机博弈中学习平稳纳什均衡。通过构建广义非线性优化问题并推导必要且充分的 SG-SP 条件，该方法利用评论家估计值函数的策略梯度下降，避免陷入局部极小值，实现在自对弈中收敛至稳定的纳什均衡，其中 ON-SGSP 在合成博弈中的表现优于 NashQ 和 FFQ。

ABSTRACT

We consider the problem of finding stationary Nash equilibria (NE) in a finite discounted general-sum stochastic game. We first generalize a non-linear optimization problem from Filar and Vrieze [2004] to a $N$-player setting and break down this problem into simpler sub-problems that ensure there is no Bellman error for a given state and an agent. We then provide a characterization of solution points of these sub-problems that correspond to Nash equilibria of the underlying game and for this purpose, we derive a set of necessary and sufficient SG-SP (Stochastic Game - Sub-Problem) conditions. Using these conditions, we develop two actor-critic algorithms: OFF-SGSP (model-based) and ON-SGSP (model-free). Both algorithms use a critic that estimates the value function for a fixed policy and an actor that performs descent in the policy space using a descent direction that avoids local minima. We establish that both algorithms converge, in self-play, to the equilibria of a certain ordinary differential equation (ODE), whose stable limit points coincide with stationary NE of the underlying general-sum stochastic game. On a single state non-generic game (see Hart and Mas-Colell [2005]) as well as on a synthetic two-player game setup with $810,000$ states, we establish that ON-SGSP consistently outperforms NashQ ([Hu and Wellman, 2003] and FFQ [Littman, 2001] algorithms.

研究动机与目标

• 开发一种可扩展且收敛的算法，用于在 N 人一般和随机博弈中寻找平稳纳什均衡。
• 将非线性优化框架从两人博弈推广至具有非线性约束的 N 人随机博弈。
• 设计一种演员-评论家算法，通过利用必要且充分的 SG-SP 条件导出的下降方向，避免陷入局部极小值。
• 建立算法收敛至与平稳纳什均衡相对应的常微分方程稳定极限点的理论保证。
• 在大规模合成博弈上，对现有多智能体强化学习算法进行实证评估。

提出的方法

• 为 N 人一般和随机博弈构建广义非线性优化问题，扩展 Filar 和 Vrieze 的两人博弈框架。
• 推导必要且充分的 SG-SP（随机博弈-子问题）条件，将纳什均衡表征为每个智能体和每个状态下的子问题解，且贝尔曼误差为零。
• 设计演员-评论家架构：评论家为固定策略估计值函数，演员则使用避免陷入局部极小值的下降方向执行策略下降。
• 提出两种算法：OFF-SGSP（基于模型）和 ON-SGSP（无模型），两者均采用多时间尺度随机逼近以实现收敛。
• 利用自对弈动力学，确保收敛至关联常微分方程（ODE）的均衡点。
• 在受限设置中实现函数逼近，其中值函数和策略函数仅依赖于相对状态差异，从而降低状态空间复杂度。

实验结果

研究问题

• RQ1 能否为 N 人一般和随机博弈构建广义非线性优化框架，通过子问题中贝尔曼误差为零的条件捕捉纳什均衡？
• RQ2 在 N 人随机博弈中，将子问题解与纳什均衡关联的必要且充分条件（SG-SP）是什么？
• RQ3 使用避免陷入局部极小值的下降方向的演员-评论家算法，能否在自对弈中确保收敛至平稳纳什均衡？
• RQ4 在大规模随机博弈中，所提出的 ON-SGSP 算法相较于 NashQ 和 FFQ 的性能如何？
• RQ5 基于相对状态差异的函数逼近能否显著降低计算复杂度，同时保持收敛性和均衡质量？

主要发现

• 在具有 810,000 个状态的合成两人随机博弈中，ON-SGSP 稳定优于 NashQ 和 FFQ，收敛速度更快且策略更稳定。
• 在 810,000 个状态的博弈中，ON-SGSP 约在 2×10^7 次迭代内收敛至 4×4 网格，平均每个状态约 21 次迭代。
• NashQ 约需 5×10^7 次迭代才能达到 8×8 网格，但其策略未能稳定，表明收敛性较差。
• FFQ 迅速达到 8×8 网格（约 30,000 次迭代），但未能充分探索状态空间，导致大多数网格区域的策略并非纳什策略。
• ON-SGSP 在约 42 分钟内完成 5×10^7 次迭代，而 NashQ 因每次迭代需计算纳什均衡，耗时近 50 小时。
• 在基于相对位置的函数逼近部分信息设置下，ON-SGSP 约在 200,000 次迭代（约 5 秒）内收敛，平均每个相对状态差异约 22 次迭代，表明在低维子空间中收敛迅速。