[论文解读] Efficient Regret Minimization Algorithm for Extensive-Form Correlated Equilibrium

Gabriele Farina, Chun Kai Ling+2 more|arXiv (Cornell University)|Oct 28, 2019

Game Theory and Applications被引用 5

一句话总结

本文提出了首个针对无机会行动的大规模两人一般和博弈中广义形式相关均衡（EFCE）的高效后悔最小化算法。通过利用一种新颖的结构分解方法——'缩放扩展'（scaled extension）——该方法保持凸性，逐步构建相关计划多面体，从而在非层次化、可能具有环路的约束下实现线性时间的后悔最小化，并在大规模博弈中优于以往的线性规划（LP）和次梯度法。

ABSTRACT

Self-play methods based on regret minimization have become the state of the art for computing Nash equilibria in large two-players zero-sum extensive-form games. These methods fundamentally rely on the hierarchical structure of the players' sequential strategy spaces to construct a regret minimizer that recursively minimizes regret at each decision point in the game tree. In this paper, we introduce the first efficient regret minimization algorithm for computing extensive-form correlated equilibria in large two-player general-sum games with no chance moves. Designing such an algorithm is significantly more challenging than designing one for the Nash equilibrium counterpart, as the constraints that define the space of correlation plans lack the hierarchical structure and might even form cycles. We show that some of the constraints are redundant and can be excluded from consideration, and present an efficient algorithm that generates the space of extensive-form correlation plans incrementally from the remaining constraints. This structural decomposition is achieved via a special convexity-preserving operation that we coin scaled extension. We show that a regret minimizer can be designed for a scaled extension of any two convex sets, and that from the decomposition we then obtain a global regret minimizer. Our algorithm produces feasible iterates. Experiments show that it significantly outperforms prior approaches and for larger problems it is the only viable option.

研究动机与目标

• 开发一种针对无机会行动的大规模两人一般和博弈中广义形式相关均衡（EFCE）的高效后悔最小化算法。
• 克服相关计划多面体中非层次化、可能具有环路的约束所带来的挑战，这些约束阻碍了传统后悔最小化方法的应用。
• 设计一种相对于博弈中相关行动对数量呈线性时间复杂度的后悔最小化器。
• 证明相关计划多面体中的冗余约束可通过结构分解被消除。
• 提供一种可扩展的替代方案，以替代以往在大规模博弈中失效的基于线性规划（LP）和次梯度下降的方法。

提出的方法

• 引入'缩放扩展'操作，这是一种保持凸性的变换，使得可在分解后的凸集上实现后悔最小化。
• 将广义形式相关计划多面体分解为一系列FillSimplex和SumSimplex操作，表示局部单纯形约束。
• 采用递归的后悔最小化器，在每个单纯形域上应用局部后悔最小化器（如FTRL或镜像下降），并通过操作链传播损失和建议。
• 通过反向传递（ObserveLoss）和正向传递（Recommend）维护分解中的一致性，确保可行的迭代解。
• 设计一个后悔界，其上界为各局部后悔最小化器的后悔之和，从而保证收敛至EFCE。
• 通过反向遍历操作序列来应用该算法，以线性时间维护状态。

实验结果

研究问题

• RQ1 尽管相关约束缺乏层次结构，后悔最小化是否仍可高效应用于一般和博弈中的广义形式相关均衡？
• RQ2 广义形式相关计划多面体中是否存在可被移除的冗余约束，以简化计算？
• RQ3 像'缩放扩展'这样的保持凸性的操作，是否能实现对复杂、非层次化约束集的高效后悔最小化？
• RQ4 所提出的算法在可扩展性和大规模博弈中的可行性方面，是否优于现有的基于LP和次梯度下降的方法？
• RQ5 该算法是否能在大规模博弈中维持可行的迭代解并实现低后悔？

主要发现

• 所提出的算法相对于相关行动对的数量呈线性时间复杂度，使其可扩展至大规模博弈。
• 该算法在每一步均产生可行的迭代解，而Farina等人（2019c）的次梯度下降方法则存在不可行性问题。
• 实验结果表明，该算法在大规模博弈中显著优于von Stengel与Forges（2008）的基于LP的方法以及Farina等人（2019c）的次梯度下降方法。
• 缩放扩展操作通过保持凸性并支持模块化设计，使得在非层次化、环路约束结构上实现后悔最小化成为可能。
• 通过FillSimplex和SumSimplex操作实现的结构分解，使得全局后悔最小化器可由具有有界累积后悔的局部后悔最小化器构建而成。
• 对于更大规模的博弈，该算法是唯一可行的选择，因为以往方法因计算成本过高或不可行而无法扩展。