[论文解读] Complexity and Algorithms for Exploiting Quantal Opponents in Large Two-Player Games

David Milec, Jakub Černý+2 more|arXiv (Cornell University)|Sep 30, 2020

Game Theory and Applications参考文献 29被引用 4

一句话总结

本文提出了一种基于CFR的可扩展算法RQR（受限量化响应），用于在大型双人游戏中面对量化响应（QR）对手时，计算出优于纳什均衡和量化纳什均衡的策略。该方法在面对QR和理性对手时，提升了可 exploited 性与期望效用，展示了在标准型和广义型博弈中的优越性能，包括大规模德州扑克变体和Goofspiel 7。

ABSTRACT

Solution concepts of traditional game theory assume entirely rational players; therefore, their ability to exploit subrational opponents is limited. One type of subrationality that describes human behavior well is the quantal response. While there exist algorithms for computing solutions against quantal opponents, they either do not scale or may provide strategies that are even worse than the entirely-rational Nash strategies. This paper aims to analyze and propose scalable algorithms for computing effective and robust strategies against a quantal opponent in normal-form and extensive-form games. Our contributions are: (1) we define two different solution concepts related to exploiting quantal opponents and analyze their properties; (2) we prove that computing these solutions is computationally hard; (3) therefore, we evaluate several heuristic approximations based on scalable counterfactual regret minimization (CFR); and (4) we identify a CFR variant that exploits the bounded opponents better than the previously used variants while being less exploitable by the worst-case perfectly-rational opponent.

研究动机与目标

• 解决在大型双人博弈中，针对有限理性（量化响应）对手计算有效策略的挑战。
• 寻找一种计算上更易处理的替代方案，以替代计算困难的量化斯塔克尔贝格均衡（QSE），同时保持高期望效用与低可 exploited 性。
• 评估并改进现有的后悔最小化启发式方法，特别是CFR变体，以更好地利用QR对手。
• 证明QNE是QSE的劣质近似，且在可 exploited 设置中可能表现甚至不如标准纳什均衡。
• 开发并验证一种实用且可扩展的算法，使其在不同对手理性水平下，均优于基线方法，在效用与鲁棒性方面表现更优。

提出的方法

• 提出两种解概念：量化纳什均衡（QNE）与量化斯塔克尔贝格均衡（QSE），分析其理论性质与计算难度。
• 证明在标准型博弈中，计算QNE是PPAD-hard的，而在广义型博弈中，QSE是NP-hard的，即使在零和博弈设置下也是如此。
• 采用基于CFR的新型变体RQR，通过限制对手响应以更好地匹配量化响应行为。
• 在CFR中引入受限响应机制，模拟斯塔克尔贝格承诺，提升可 exploited 性而不损失鲁棒性。
• 基于CFR-f采用启发式近似，并通过期望效用与可 exploited 性指标，在多种博弈类别中评估性能。
• 引入理性参数λ以建模对手有限理性的不同程度，并在不同λ值下评估策略表现。

实验结果

研究问题

• RQ1 可扩展的后悔最小化算法是否能有效利用大型双人博弈中的量化响应对手？
• RQ2 QNE在效用与可 exploited 性方面与QSE及纳什均衡相比表现如何？
• RQ3 是否存在一种基于CFR的启发式方法，在可 exploited 性与对QR对手的期望效用方面均优于QNE？
• RQ4 尽管该方法专为有限理性设计，但在对手完全理性时，该方法是否仍能保持鲁棒性？
• RQ5 RQR算法在Goofspiel 7和Leduc Hold’em等大型博弈中的可扩展性与性能表现如何？

主要发现

• 在Leduc Hold’em中，RQR对CLQR对手的效用增益达2.412，优于QNE（2.357）与CFR（1.191），且可 exploited 性更低（3.849 vs. 4.045）。
• 在Goofspiel 7中，RQR实现2.412的效用增益，可 exploited 性为3.849，显著优于CFR-QR（增益2.357，可 exploited 性4.045）与CFR（增益1.191，可 exploited 性0.115）。
• 在不同理性参数λ下，RQR在期望效用与可 exploited 性方面始终优于QNE，即使λ较高（即对手接近理性）时亦然。
• GA与COMB在Goofspiel 7等大型博弈中因内存与计算限制而不可行，而RQR在1000次迭代下仍能有效扩展。
• RQR变体的可 exploited 性低于QNE，且在所有测试博弈与理性水平下，其表现优于NE与QNE。
• 研究证实，QNE是QSE的劣质代理，且在可 exploited 设置中可能表现甚至不如标准纳什策略。