[论文解读] Regret Minimization in Behaviorally-Constrained Zero-Sum Games

Gabriele Farina, Christian Kroer+1 more|arXiv (Cornell University)|Nov 9, 2017

Economic theories and models被引用 9

一句话总结

本文提出了一种用于行为约束型零和广博式博弈的后悔最小化框架，将 CFR+ 算法扩展以处理建模颤抖手行为的扰动。其收敛速度与当前最先进的纳什均衡求解器相当，同时生成的策略在均衡精炼特性方面显著提升，尤其在广博式完美均衡方面表现突出。

ABSTRACT

No-regret learning has emerged as a powerful tool for solving extensive-form games. This was facilitated by the counterfactual-regret minimization (CFR) framework, which relies on the instantiation of regret minimizers for simplexes at each information set of the game. We use an instantiation of the CFR framework to develop algorithms for solving behaviorally-constrained (and, as a special case, perturbed in the Selten sense) extensive-form games, which allows us to compute approximate Nash equilibrium refinements. Nash equilibrium refinements are motivated by a major deficiency in Nash equilibrium: it provides virtually no guarantees on how it will play in parts of the game tree that are reached with zero probability. Refinements can mend this issue, but have not been adopted in practice, mostly due to a lack of scalable algorithms. We show that, compared to standard algorithms, our method finds solutions that have substantially better refinement properties, while enjoying a convergence rate that is comparable to that of state-of-the-art algorithms for Nash equilibrium computation both in theory and practice.

研究动机与目标

• 为解决大规模零和广博式博弈中均衡精炼计算缺乏可扩展算法的问题。
• 克服纳什均衡的根本局限性，即在零概率信息集上无法保证性能。
• 开发一种支持每个信息集上策略单纯形线性约束的后悔最小化框架。
• 通过行为扰动实现近似广博式完美均衡（EFPE）的计算。
• 在保持与当前最先进的 CFR+ 和 EGT 算法相当收敛速度的同时，提升精炼质量。

提出的方法

• 将后悔匹配+（RM+）扩展至有限生成的凸多面体，特别是每个信息集上的线性约束单纯形。
• 将行为约束博弈建模为在每个信息集上对混合策略施加线性约束的广博式博弈。
• 通过扰动策略空间的基表示实现后悔最小化，使用由扰动概率导出的可逆矩阵。
• 计算在未扰动博弈中针对纯动作的瞬时后悔，并将其转换为扰动基的后悔更新，避免计算开销。
• 采用一种改进的 CFR+ 算法，将后悔更新与扰动感知策略更新相结合，保持与标准 CFR+ 相同的收敛速率。
• 采用递归遍历机制计算反事实值并更新整个博弈树中的后悔，同时在后悔更新规则中整合扰动项。

实验结果

研究问题

• RQ1 后悔最小化能否被扩展以处理广博式博弈中策略单纯形上的线性约束？
• RQ2 与标准 CFR+ 相比，所提方法在均衡精炼方面是否实现更快的收敛速度和更优的精炼特性？
• RQ3 行为扰动能否系统性地整合进 CFR 框架，以计算近似广博式完美均衡？
• RQ4 所提算法的收敛速率是否与 CFR+ 和 EGT 等当前最先进的算法相当？
• RQ5 所生成的策略在零概率信息集上对对手错误的鲁棒性在多大程度上得到提升？

主要发现

• 所提算法在扰动和未扰动博弈中，收敛速率与标准 CFR+ 和 EGT 算法相当。
• 该方法生成的策略在精炼特性方面比标准 CFR+ 提升了数量级，尤其在广博式完美均衡（EFPE）近似方面表现显著。
• 后悔更新机制通过将后悔表示为未扰动博弈中纯动作的后悔，实现了高效计算，且无渐近计算开销。
• 即使行为约束导致进一步进展受限，该算法仍能保持收敛，表明对约束饱和具有鲁棒性。
• 该框架在行为扰动与近似 EFPE 之间建立了正式联系，从理论上验证了该方法的有效性。
• 实验结果表明，CFR+ 的扰动变体在精炼质量方面优于标准 CFR+，同时保持了实际的收敛速度。