[论文解读] A Sampling-Based Approach to Computing Equilibria in Succinct Extensive-Form Games

Miroslav Dudı́k, Geoffrey J. Gordon|arXiv (Cornell University)|May 9, 2012

Game Theory and Applications参考文献 21被引用 16

一句话总结

本文提出了一种基于采样的算法，用于在简洁的展开式博弈中计算广义型相关均衡，采用乘法权重更新和马尔可夫链蒙特卡洛采样，无需强结构假设即可高效找到均衡。该方法可控制均衡特性（如社会福利），并提供收敛性保证，在中等规模多玩家博弈中展现出优于以往方法的可扩展性和实用性。

ABSTRACT

A central task of artificial intelligence is the design of artificial agents that act towards specified goals in partially observed environments. Since such environments frequently include interaction over time with other agents with their own goals, reasoning about such interaction relies on sequential game-theoretic models such as extensive-form games or some of their succinct representations such as multi-agent influence diagrams. The current algorithms for calculating equilibria either work with inefficient representations, possibly doubly exponential inthe number of time steps, or place strong assumptions on the game structure. In this paper,we propose a sampling-based approach, which calculates extensive-form correlated equilibria with small representations without placing such strong assumptions. Thus, it is practical in situations where the previous approaches would fail. In addition, our algorithm allows control over characteristics of the target equilibrium, e.g., we can ask for an equilibrium with high social welfare. Our approach is based on a multiplicativeweight update algorithm analogous to AdaBoost, and Markov chain Monte Carlo sampling. We prove convergence guarantees and explore the utility of our approach on several moderately sized multi-player games.

研究动机与目标

• 为解决在具有简洁表示的大规模多玩家展开式博弈中计算均衡的挑战。
• 克服现有算法依赖低效表示或强结构假设的局限性。
• 开发一种实用且可扩展的方法，用于计算先前方法因计算不可行而失效的展开式相关均衡。
• 在计算过程中实现对均衡特性的控制，例如最大化社会福利。
• 为所提出的基于采样的算法提供理论收敛保证。

提出的方法

• 该方法采用受AdaBoost启发的乘法权重更新算法，通过迭代地根据采样得到的游戏结果来优化策略。
• 利用马尔可夫链蒙特卡洛（MCMC）采样高效探索博弈树并估计期望收益。
• 该算法在博弈的紧凑表示上运行，避免显式枚举所有信息集或行动序列。
• 通过重复采样和权重调整，维护并更新联合行动配置的概率分布，从而计算相关均衡。
• 通过在更新规则中引入基于效用的加权，该方法允许用户定义目标，例如最大化社会福利。
• 通过在采样框架下对乘法权重更新过程的理论分析，证明了收敛性。

实验结果

研究问题

• RQ1 基于采样的方法是否能在无需强结构假设的前提下，高效计算简洁展开式博弈中的均衡？
• RQ2 如何使均衡计算在具有复杂信息结构的中等规模多玩家博弈中实现可扩展性？
• RQ3 该算法能否扩展以控制均衡特性（如社会福利或公平性）？
• RQ4 针对基于采样的乘法权重更新过程，可提供哪些理论收敛保证？
• RQ5 在实际性能上，该方法与现有均衡计算技术相比，在运行时间和解的质量方面表现如何？

主要发现

• 所提出的算法成功计算了中等规模多玩家博弈中的展开式相关均衡，而以往方法因计算复杂度过高而失效。
• 即使博弈表示为简洁形式且可能规模庞大，该方法仍能以理论保证收敛至均衡。
• 通过将MCMC采样与乘法权重更新相结合，该算法避免了完整枚举博弈状态所导致的双重指数级膨胀。
• 通过在更新过程中引入基于效用的加权，该方法可明确控制均衡特性，例如最大化社会福利。
• 实验评估表明，该方法在多个基准博弈上表现出实际性能，其可扩展性超越了传统均衡计算技术的极限。
• 该算法保持了均衡的小型表示，因此适用于实时或交互式AI应用。