[论文解读] A Study of Gradient Descent Schemes for General-Sum Stochastic Games

H. L. Prasad, Shalabh Bhatnagar|arXiv (Cornell University)|Jul 1, 2015

Markov Chains and Monte Carlo Methods参考文献 15被引用 4

一句话总结

本文提出了一种梯度下降方法，用于求解广义和随机博弈，通过将其建模为具有非线性目标和约束的非凸约束优化问题。研究表明，尽管标准梯度方法收敛至KKT点，但仅满足满秩条件（KKT-N点）的KKT点才对应纳什均衡，因此在缺乏额外结构假设的情况下，无法保证收敛至纳什均衡。

ABSTRACT

Zero-sum stochastic games are easy to solve as they can be cast as simple Markov decision processes. This is however not the case with general-sum stochastic games. A fairly general optimization problem formulation is available for general-sum stochastic games by Filar and Vrieze [2004]. However, the optimization problem there has a non-linear objective and non-linear constraints with special structure. Since gradients of both the objective as well as constraints of this optimization problem are well defined, gradient based schemes seem to be a natural choice. We discuss a gradient scheme tuned for two-player stochastic games. We show in simulations that this scheme indeed converges to a Nash equilibrium, for a simple terrain exploration problem modelled as a general-sum stochastic game. However, it turns out that only global minima of the optimization problem correspond to Nash equilibria of the underlying general-sum stochastic game, while gradient schemes only guarantee convergence to local minima. We then provide important necessary conditions for gradient schemes to converge to Nash equilibria in general-sum stochastic games.

研究动机与目标

• 为解决广义和随机博弈的挑战，此类博弈缺乏零和博弈所具有的可处理结构。
• 将广义和随机博弈形式化为具有明确定义梯度的非凸、约束优化问题。
• 开发一种梯度下降方法，即使在非凸性和不定目标下，也能确保可行的搜索方向和最优步长。
• 识别梯度方法收敛至纳什均衡而非虚假局部极小值的必要条件。
• 分析标准梯度方案在保证收敛至此类博弈的纳什均衡方面的局限性。

提出的方法

• 基于Filar和Vrieze（2004）的方法，将广义和随机博弈建模为具有非线性目标和线性约束的非凸、约束优化问题。
• 构建一种梯度下降方案，通过在每次迭代中尊重活动与非活动约束，计算可行的搜索方向。
• 采用带回溯的线搜索程序，以确定最优步长，确保增益函数的充分下降。
• 利用状态-动作空间中的稀疏性，提升矩阵求逆步骤的数值效率。
• 应用Karush-Kuhn-Tucker（KKT）条件来表征潜在解，重点识别KKT-N点。
• 引入KKT-N条件：若在某点处矩阵 $ G' = G_K^T(I - G_I(G_I^T G_I)^{-1}G_I^T)G_K $ 为满秩，则该KKT点对应纳什均衡。

实验结果

研究问题

• RQ1 标准梯度下降方法能否在广义和随机博弈中可靠收敛至纳什均衡？
• RQ2 优化问题的KKT点在何种条件下对应纳什均衡？
• RQ3 为何尽管梯度方法收敛至KKT点，却无法保证收敛至纳什均衡？
• RQ4 优化问题的结构——特别是非凸性和非线性约束——如何影响收敛行为？
• RQ5 在何种条件下，可保证梯度基算法收敛至广义和随机博弈中的纳什均衡？

主要发现

• 所提出的梯度下降方案在地形探索问题的仿真中成功收敛至KKT点，证明了其在实际中的可行性。
• 仅优化问题的全局极小值对应纳什均衡，但梯度方法仅能保证收敛至局部极小值。
• 当且仅当矩阵 $ G' $ 为满秩时，KKT点才对应纳什均衡，该条件称为KKT-N条件。
• 若优化问题的所有KKT点均为KKT-N点，则任何梯度基算法都将收敛至纳什均衡。
• 当存在非KKT-N点时，无法保证收敛至纳什均衡，凸显了标准梯度方案的根本局限性。
• KKT-N条件非线性地依赖于奖励函数、转移概率、值函数、策略以及活动约束集，使其难以事先验证。