[论文解读] An Efficient Optimal-Equilibrium Algorithm for Two-player Game Trees

Michael L. Littman, Nishkam Ravi+2 more|arXiv (Cornell University)|Jun 27, 2012

Game Theory and Applications参考文献 12被引用 4

一句话总结

本文提出了一种多项式时间算法，通过显式建模随机策略，高效计算双人完全信息博弈树中的最优均衡，克服了传统子博弈完美纳什均衡算法可能遗漏福利最大化结果的局限性。该方法通过概率性行动选择实现最优社会福利，在纸牌游戏示例中得到验证。

ABSTRACT

Two-player complete-information game trees are perhaps the simplest possible setting for studying general-sum games and the computational problem of finding equilibria. These games admit a simple bottom-up algorithm for finding subgame perfect Nash equilibria efficiently. However, such an algorithm can fail to identify optimal equilibria, such as those that maximize social welfare. The reason is that, counterintuitively, probabilistic action choices are sometimes needed to achieve maximum payoffs. We provide a novel polynomial-time algorithm for this problem that explicitly reasons about stochastic decisions and demonstrate its use in an example card game.

研究动机与目标

• 解决子博弈完美纳什均衡算法在无法识别最大化社会福利的最优均衡方面的局限性。
• 开发一种计算高效的算法，用于寻找双人完全信息博弈树中的最优均衡。
• 显式推理随机（概率性）行动选择，因其对实现最大收益至关重要。
• 通过纸牌游戏场景中的具体示例，证明该算法的有效性。

提出的方法

• 该算法对博弈树进行自底向上的遍历，将标准逆向归纳法扩展以考虑随机策略。
• 其预期效用计算考虑了每个决策节点处的混合策略。
• 该方法使用动态规划计算最优混合策略，以在均衡时最大化社会福利。
• 其维护的值函数编码了在随机均衡下的最优期望收益。
• 通过避免对策略组合的穷举枚举，确保了多项式时间复杂度。
• 其集成了约束条件，以在优化社会福利的同时强制满足均衡条件。

实验结果

研究问题

• RQ1 是否存在一种高效算法，能够计算出在双人博弈树中最大化社会福利的最优均衡？
• RQ2 为何在均衡中，概率性行动选择有时会带来比确定性策略更高的收益？
• RQ3 是否可能将子博弈完美均衡计算扩展至包含随机策略，同时不牺牲计算效率？
• RQ4 如何以一种既正确又可扩展的方式计算最优均衡，适用于一般和博弈？

主要发现

• 所提出的算法以多项式时间计算最优均衡，克服了朴素策略枚举的指数复杂度。
• 该算法通过利用随机策略识别出最大化社会福利的均衡，而确定性方法可能忽略此类均衡。
• 在纸牌游戏示例中，该算法实现的社会福利期望值高于任何子博弈完美纳什均衡。
• 该方法成功将逆向归纳法扩展至处理混合策略，同时保持计算效率。
• 结果表明，一般和博弈中的最优均衡需要显式建模随机行为。