[论文解读] Lazy-CFR: fast and near optimal regret minimization for extensive games with imperfect information

Yichi Zhou, Tongzheng Ren+3 more|arXiv (Cornell University)|Oct 10, 2018

Advanced Bandit Algorithms Research参考文献 16被引用 5

一句话总结

该论文提出了一种新颖的后悔最小化算法——Lazy-CFR，适用于两玩家零和广义博弈（具有不完美信息），通过使用懒更新技术加速收敛。通过仅更新信息集的子集（每轮仅更新 O(√|I|) 个，而非 O(|I|) 个），并利用更紧的后悔界 O(√(ξDT log A))，Lazy-CFR 在 Leduc-15 等大规模博弈中相比原始 CFR 算法实现了高达 500 倍的收敛速度提升，同时保持了接近最优的后悔性能。

ABSTRACT

Counterfactual regret minimization (CFR) is the most popular algorithm on solving two-player zero-sum extensive games with imperfect information and achieves state-of-the-art performance in practice. However, the performance of CFR is not fully understood, since empirical results on the regret are much better than the upper bound proved in \cite{zinkevich2008regret}. Another issue is that CFR has to traverse the whole game tree in each round, which is time-consuming in large scale games. In this paper, we present a novel technique, lazy update, which can avoid traversing the whole game tree in CFR, as well as a novel analysis on the regret of CFR with lazy update. Our analysis can also be applied to the vanilla CFR, resulting in a much tighter regret bound than that in \cite{zinkevich2008regret}. Inspired by lazy update, we further present a novel CFR variant, named Lazy-CFR. Compared to traversing $O(|\mathcal{I}|)$ information sets in vanilla CFR, Lazy-CFR needs only to traverse $O(\sqrt{|\mathcal{I}|})$ information sets per round while keeping the regret bound almost the same, where $\mathcal{I}$ is the class of all information sets. As a result, Lazy-CFR shows better convergence result compared with vanilla CFR. Experimental results consistently show that Lazy-CFR outperforms the vanilla CFR significantly.

研究动机与目标

• 为解决 Counterfactual Regret Minimization (CFR) 的高计算成本问题，该方法在每轮中需遍历整个博弈树，尤其在大规模博弈中更为显著。
• 开发一种理论基础坚实的技巧，以减少每轮更新的信息集数量，同时不牺牲后悔性能。
• 通过分析底层最优策略下即时后悔之间的相关性，为 CFR 及其变体推导出更紧的后悔界。
• 设计一种实用算法 Lazy-CFR，实现显著快于原始 CFR 的收敛速度，同时保持接近最优的后悔性能。

提出的方法

• 提出一种懒更新框架，将时间轴分段，并仅在分段边界更新策略，从而降低每轮计算开销。
• 提出一种新颖的后悔分析，揭示了即时后悔之间的相关性，从而得到更紧的上界 O(√(ξDT log A))，而非先前的 O(|I|√(T log A))。
• 定义一种基于简单阈值的更新规则：仅当某个信息集的累积到达概率超过阈值时才进行更新，该机制自然地将每轮更新数量限制在 O(√|I|)。
• 采用 Hedge 算法作为后悔匹配的在线学习求解器，实现仅在最相关的信息集上高效更新策略。
• 推导出理论界，表明 Lazy-CFR 的运行时间相比原始 CFR 加快了 O(√|I|/D) 倍，以计算 ϵ-Nash 均衡。
• 构建一个显式的对手，证明了后悔下界为 Ω(√(ξT log A))，表明 CFR 和 Lazy-CFR 均在小因子范围内接近最优。

实验结果

研究问题

• RQ1 我们能否在保持理论后悔保证的前提下，减少 CFR 每轮更新的信息集数量？
• RQ2 我们能否通过分析即时后悔之间的相关性而非将其视为独立项，来为 CFR 推导出更紧的后悔界？
• RQ3 简单的基于阈值的更新规则是否能在不降低收敛质量的前提下，实现显著的性能提升？
• RQ4 Lazy-CFR 在收敛速度和可被利用性方面，与原始 CFR 及其他变体（如 MC-CFR 和 CFR+）相比表现如何？
• RQ5 Lazy-CFR 的后悔界是否接近最优？其与信息论下界之间的理论差距是多少？

主要发现

• Lazy-CFR 将每轮更新的信息集数量从 O(|I|) 减少到 O(√|I|)，在大规模博弈中实现了显著的速度提升。
• 在拥有超过 1.3×10⁵ 个信息集的 Leduc-15 博弈中，Lazy-CFR 的收敛速度比原始 CFR 快超过 200 倍。
• 在相同的 Leduc-15 基准测试中，Lazy-CFR+ 的收敛速度比 CFR+ 快超过 500 倍。
• Lazy-CFR 的后悔界为 O(√(ξDT log A))，比先前的 O(|I|√(T log A)) 更紧，并且在 O(D) 因子范围内接近最优。
• 理论分析表明，任何算法的后悔下界均不低于 Ω(√(ξT log A))，证实了 CFR 和 Lazy-CFR 均在小因子范围内接近最优。
• 实验结果表明，尽管在较小实例（如 Leduc-5）上性能略逊于 MC-CFR 和 CFR+，但 Lazy-CFR 在更大规模博弈中表现更优。