[论文解读] Fast Planning in Stochastic Games

Michael Kearns, Yishay Mansour+1 more|arXiv (Cornell University)|Jan 16, 2013

Game Theory and Applications参考文献 6被引用 36

一句话总结

本文提出了一种快速规划算法，用于在随机博弈中计算近似纳什均衡，将有限horizon值迭代推广至多智能体设置。该方法将稀疏采样技术适配至大规模或无限状态空间，并证明了在一般和博弈中，无限horizon折扣值迭代通常不收敛，而这一点在零和博弈中是成立的。

ABSTRACT

Stochastic games generalize Markov decision processes (MDPs) to a multiagent setting by allowing the state transitions to depend jointly on all player actions, and having rewards determined by multiplayer matrix games at each state. We consider the problem of computing Nash equilibria in stochastic games, the analogue of planning in MDPs. We begin by providing a generalization of finite-horizon value iteration that computes a Nash strategy for each player in generalsum stochastic games. The algorithm takes an arbitrary Nash selection function as input, which allows the translation of local choices between multiple Nash equilibria into the selection of a single global Nash equilibrium. Our main technical result is an algorithm for computing near-Nash equilibria in large or infinite state spaces. This algorithm builds on our finite-horizon value iteration algorithm, and adapts the sparse sampling methods of Kearns, Mansour and Ng (1999) to stochastic games. We conclude by descrbing a counterexample showing that infinite-horizon discounted value iteration, which was shown by shaplely to converge in the zero-sum case (a result we give extend slightly here), does not converge in the general-sum case.

研究动机与目标

• 开发一种高效规划算法，用于在随机博弈中计算纳什均衡，将基于MDP的值迭代扩展至多智能体设置。
• 通过适配至随机博弈的稀疏采样方法，实现在大规模或无限状态空间中的可扩展规划。
• 通过可推广的选择函数，解决从多个局部均衡中选择唯一全局纳什均衡的挑战。
• 分析无限horizon折扣值迭代在一般和博弈随机博弈中的收敛性质。
• 为随机博弈中快速、可扩展的均衡计算提供理论与算法基础。

提出的方法

• 通过引入联合玩家动作和多玩家矩阵博弈奖励，将有限horizon值迭代推广至随机博弈。
• 引入一种纳什选择函数，以解决多个纳什均衡问题并选择唯一全局均衡。
• 将Kearns等人（1999）提出的稀疏采样方法适配至随机博弈，实现在大规模状态空间中的高效规划。
• 采用值迭代框架，为每位玩家维护值函数，并基于联合动作结果进行更新。
• 使用基于采样的近似方法估计未来状态的期望值，从而降低计算复杂度。
• 将Shapley在零和随机博弈中的收敛结果推广至一般和博弈，表明该结论在一般和博弈中不成立。

实验结果

研究问题

• RQ1 有限horizon值迭代能否推广至在随机博弈中计算纳什均衡？
• RQ2 如何适配稀疏采样方法，以实现在随机博弈大规模或无限状态空间中的快速规划？
• RQ3 无限horizon折扣值迭代在一般和博弈随机博弈中是否保证收敛？
• RQ4 当存在多个均衡时，需要何种机制来选择唯一全局纳什均衡？
• RQ5 值迭代在零和与一般和随机博弈中的收敛性质有何不同？

主要发现

• 所提出的有限horizon值迭代算法通过纳什选择函数，成功在一般和博弈随机博弈中计算出纳什均衡。
• 稀疏采样方法的适配使得在大规模或无限状态空间中高效计算近似纳什均衡成为可能。
• 该算法在复杂多智能体环境的规划中展现出可扩展性和实际可行性。
• 论文提供了一个反例，表明无限horizon折扣值迭代在一般和博弈随机博弈中不收敛，尽管在零和博弈中是收敛的。
• 论文将Shapley的收敛结果推广至零和随机博弈，确认其在该设置下的有效性。
• 该框架通过选择函数支持将局部均衡选择转化为一致的全局均衡。