[论文解读] Fast Policy Extragradient Methods for Competitive Games with Entropy Regularization

Shicong Cen, Yuting Wei+1 more|arXiv (Cornell University)|May 31, 2021

Advanced Bandit Algorithms Research参考文献 48被引用 10

一句话总结

本文提出了一种带熵正则化的可证明高效的外梯度方法，用于计算竞争性博弈中的均衡，实现了在零和矩阵博弈中对量化响应均衡（QRE）的线性收敛速率，以及在无正则化博弈中对近似纳什均衡的次线性收敛速率。该算法采用去中心化、对称的乘法更新机制，基于每个玩家自身的收益进行更新，实现了几乎与维度无关的收敛速率，其速率独立于状态空间和动作空间的大小，仅受对数因子影响。

ABSTRACT

This paper investigates the problem of computing the equilibrium of competitive games, which is often modeled as a constrained saddle-point optimization problem with probability simplex constraints. Despite recent efforts in understanding the last-iterate convergence of extragradient methods in the unconstrained setting, the theoretical underpinnings of these methods in the constrained settings, especially those using multiplicative updates, remain highly inadequate, even when the objective function is bilinear. Motivated by the algorithmic role of entropy regularization in single-agent reinforcement learning and game theory, we develop provably efficient extragradient methods to find the quantal response equilibrium (QRE) -- which are solutions to zero-sum two-player matrix games with entropy regularization -- at a linear rate. The proposed algorithms can be implemented in a decentralized manner, where each player executes symmetric and multiplicative updates iteratively using its own payoff without observing the opponent's actions directly. In addition, by controlling the knob of entropy regularization, the proposed algorithms can locate an approximate Nash equilibrium of the unregularized matrix game at a sublinear rate without assuming the Nash equilibrium to be unique. Our methods also lead to efficient policy extragradient algorithms for solving (entropy-regularized) zero-sum Markov games at similar rates. All of our convergence rates are nearly dimension-free, which are independent of the size of the state and action spaces up to logarithm factors, highlighting the positive role of entropy regularization for accelerating convergence.

研究动机与目标

• 为解决在具有乘法更新的约束性竞争博弈中，外梯度方法缺乏理论理解的问题。
• 为在带熵正则化的零和矩阵博弈中计算量化响应均衡（QRE）开发可证明高效的算法。
• 实现去中心化、对称的策略更新，使得每个玩家仅基于自身收益进行更新，无需观测对手的动作。
• 在不假设均衡唯一性的前提下，实现对无正则化矩阵博弈中近似纳什均衡的快速收敛。
• 将该框架扩展至带熵正则化的零和马尔可夫博弈，并保持类似的收敛保证。

提出的方法

• 提出两种外梯度方法：策略更新（PU）和乐观乘法权重更新（OMWU），两者均基于熵正则化收益梯度的乘法更新。
• 采用熵正则化以稳定学习过程，并确保双线性结构得以保持，从而实现收敛性保证。
• 通过一种新颖的分析框架，推导出在矩阵博弈中对QRE的最后迭代线性收敛，该框架考虑了正则化目标和单纯形约束。
• 为马尔可夫博弈引入性能差异引理，以在策略更新下界定值函数的变化，从而支持收敛性分析。
• 通过策略的对数变换处理概率单纯形约束，并利用强凸性推导出稳定性边界。
• 通过控制熵正则化参数，实现几乎与维度无关的收敛速率，使收敛速率独立于状态和动作空间大小，仅受对数因子影响。

实验结果

研究问题

• RQ1 在具有约束性、双线性结构的零和矩阵博弈中，带熵正则化的外梯度方法能否实现对量化响应均衡（QRE）的线性收敛？
• RQ2 熵正则化如何实现去中心化、对称的策略更新，而无需观测对手的动作？
• RQ3 所提出的算法能否在不假设均衡唯一性的前提下，以次线性速率收敛至无正则化矩阵博弈的近似纳什均衡？
• RQ4 熵正则化在马尔可夫博弈中加速收敛的作用是什么？收敛速率如何随状态和动作空间大小变化？
• RQ5 收敛保证能否扩展至带熵正则化的零和马尔可夫博弈，并保持类似的收敛速率？

主要发现

• 所提出的PU和OMWU算法在带熵正则化的零和矩阵博弈中，实现了对量化响应均衡（QRE）的线性收敛速率。
• 收敛速率几乎与维度无关，其精度为ε时的速率量级为O(log n / ε)，独立于状态和动作空间大小，仅受对数因子影响。
• 通过调节熵正则化参数，算法可在不假设均衡唯一性的前提下，实现对无正则化矩阵博弈中近似纳什均衡的次线性收敛。
• 该方法为去中心化且对称的，使得每个玩家仅基于自身收益进行更新，无需观测对手的动作。
• 在带熵正则化的零和马尔可夫博弈中，策略外梯度方法实现了对近似纳什均衡的最后迭代收敛，且收敛速率与前述情况类似，几乎与维度无关。
• 理论分析通过使用对数策略变换和基于熵的正则性，建立了对策略和值函数变化的Lipschitz型边界。