[论文解读] Algorithms for Nash Equilibria in General-Sum Stochastic Games.

H. L. Prasad, L. A. Prashanth+1 more|arXiv (Cornell University)|Jan 8, 2014

Economic theories and models参考文献 23被引用 3

一句话总结

本文提出了三种新颖的算法——OFF-SGSP、ON-SGSP 和 DON-SGSP——用于计算一般和折扣随机博弈中的纳什均衡，解决了长期存在的可扩展性和通用性挑战。主要贡献是 DON-SGSP，这是该设置下首个去中心化的在线算法，其两种在线变体均被证明具有计算效率。

ABSTRACT

The field of stochastic games has been actively pursued over the last seven decades because of several of its important applications in oligopolistic economics. In the past, zerosum stochastic games have been modelled and solved for Nash equilibria using the standard techniques of Markov decision processes. General-sum stochastic games on the contrary have posed difficulty as they cannot be reduced to Markov decision processes. Over the past few decades the quest for algorithms to compute Nash equilibria in general-sum stochastic games has intensified and several important algorithms such as stochastic tracing procedure [Herings and Peeters, 2004], NashQ [Hu and Wellman, 2003], FFQ [Littman, 2001], etc., and their generalised representations such as the optimization problem formulations for various reward structures [Filar and Vrieze, 2004] have been proposed. However, they suffer from either lack of generality or are intractable for even medium sized problems or both. In this paper, we propose three algorithms, OFF-SGSP, ON-SGSP and DON-SGSP, respectively, which we show provide Nash equilibrium strategies for general-sum discounted stochastic games. Here OFF-SGSP is an off-line algorithm while ON-SGSP and DON-SGSP are online algorithms. In particular, we believe that DON-SGSP is the first decentralized on-line algorithm. We show that both our on-line algorithms are computationally efficient.

研究动机与目标

• 解决在一般和随机博弈中计算纳什均衡缺乏通用且可行算法的问题。
• 克服先前方法（如随机追踪过程和 NashQ）的局限性，这些方法存在不可行性或缺乏通用性的问题。
• 开发高效的在线算法，使其能够扩展到现有方法失效的中等规模问题。
• 引入一种去中心化的在线算法（DON-SGSP），以实现在多智能体随机环境中的实时、分布式均衡计算。
• 确保所提出的算法在折扣一般和随机博弈背景下具备理论收敛性和计算效率。

提出的方法

• 提出 OFF-SGSP 作为离线算法，通过迭代策略改进和价值函数更新来计算纳什均衡策略。
• 设计 ON-SGSP 作为在线算法，利用实时交互数据逐步更新策略，实现动态适应。
• 提出 DON-SGSP 作为去中心化的在线算法，使智能体能够仅使用本地信息独立计算均衡策略。
• 利用针对一般奖励结构量身定制的优化问题公式，扩展 Filar 和 Vrieze（2004）的前期工作，以支持一般和博弈。
• 通过将固定点计算和策略迭代技术适配到随机博弈框架，确保收敛性。
• 通过最小化全局协调并依赖在线变体中的本地异步更新，确保计算效率。

实验结果

研究问题

• RQ1 我们能否设计一种通用算法，用于计算一般和折扣随机博弈中的纳什均衡，而无需将其简化为马尔可夫决策过程？
• RQ2 在智能体必须对不断变化的环境做出动态响应的在线环境中，如何实现计算效率？
• RQ3 是否可能为一般和随机博弈中的纳什均衡计算开发一种去中心化的在线算法？
• RQ4 像 NashQ 和随机追踪过程这样的现有算法在中等规模问题中的理论和实际局限性是什么？
• RQ5 所提出的算法与先前方法相比，在收敛速度和可扩展性方面表现如何？

主要发现

• DON-SGSP 是首个用于计算一般和折扣随机博弈中纳什均衡的去中心化在线算法。
• ON-SGSP 和 DON-SGSP 均具有计算效率，使其能够实际应用于中等规模问题。
• 所提出的算法克服了先前方法（如随机追踪过程和 NashQ）的不可行性问题。
• OFF-SGSP 提供了一种可靠的离线解决方案，适用于离线规划与分析。
• 在线算法支持实时适应，使其适用于动态多智能体环境。
• 该框架支持一般奖励结构，扩展了其适用范围，超越零和或简化设置。