[论文解读] A Unified Approach to Reinforcement Learning, Quantal Response Equilibria, and Two-Player Zero-Sum Games

Samuel Sokota, Ryan D'Orazio+6 more|arXiv (Cornell University)|Jun 12, 2022

Experimental Behavioral Economics Studies被引用 6

一句话总结

本文提出磁力镜像下降（Magnetic Mirror Descent, MMD），一种统一的强化学习与双人零和博弈均衡计算算法。MMD 在仅使用一阶反馈的情况下，实现了在广义形式博弈中对量化响应均衡（QRE）的线性收敛，并在表格化设置中表现出与反事实遗憾最小化（Counterfactual Regret Minimization, CFR）相当的性能，同时在 3x3 暗棋（3x3 Dark Hex）和幻影井字棋（Phantom Tic-Tac-Toe）等深度强化学习环境中也展现出优异表现。

ABSTRACT

This work studies an algorithm, which we call magnetic mirror descent, that is inspired by mirror descent and the non-Euclidean proximal gradient algorithm. Our contribution is demonstrating the virtues of magnetic mirror descent as both an equilibrium solver and as an approach to reinforcement learning in two-player zero-sum games. These virtues include: 1) Being the first quantal response equilibria solver to achieve linear convergence for extensive-form games with first order feedback; 2) Being the first standard reinforcement learning algorithm to achieve empirically competitive results with CFR in tabular settings; 3) Achieving favorable performance in 3x3 Dark Hex and Phantom Tic-Tac-Toe as a self-play deep reinforcement learning algorithm.

研究动机与目标

• 通过单一算法框架，统一双人零和博弈中的强化学习与均衡计算。
• 首次为在广义形式博弈中求解量化响应均衡（QRE）的一阶方法提供线性收敛保证。
• 证明标准强化学习算法在自对弈设置下可实现与 CFR 相当的性能。
• 在观测受限的复杂不完美信息博弈中，评估 MMD 作为深度强化学习算法的表现。
• 建立 MMD 与镜像下降、博弈论中变分不等式问题之间的理论与实证联系。

提出的方法

• MMD 源自非欧几里得邻近梯度方法，通过引入邻近正则化与‘磁力’项扩展镜像下降，以稳定学习过程。
• 利用序列形式表示，将广义形式博弈中的 QRE 计算建模为变分不等式问题。
• 结合熵正则化与反向 KL 散度正则化，其形式与 KL-PPO 和 MDPO 类似，但使用反向 KL 散度并显式引入熵奖励。
• 仅依赖一阶反馈，避免了 CFR 或 NFSP 等先前方法中所需的最优响应或重要性采样子程序。
• 采用统一的磁力项与负熵镜像映射，通过策略比与优势估计实现稳定的策略更新。
• 在深度强化学习设置中，MMD 在自对弈中应用，无需对历史策略进行平均，从而在 3x3 暗棋等游戏中最小化可被利用性。

实验结果

研究问题

• RQ1 能否仅使用一阶反馈，使单一算法在广义形式博弈中实现对量化响应均衡的线性收敛？
• RQ2 标准强化学习算法是否可在表格化双人零和博弈中实现与反事实遗憾最小化（CFR）相当的性能？
• RQ3 MMD 是否能有效泛化至大规模、不完美信息博弈中的深度强化学习？
• RQ4 MMD 使用反向 KL 散度与熵正则化的方法，在训练稳定性和收敛性方面与前向 KL 方法（如 KL-PPO）相比如何？
• RQ5 MMD 是否能在不依赖策略平均或轨迹重要性采样的情况下，成功最小化复杂游戏（如 3x3 暗棋与幻影井字棋）中的可被利用性？

主要发现

• MMD 在正常形式与广义形式博弈中均实现了对量化响应均衡的线性收敛，这是首次在一阶方法中实现该结果。
• 在表格化基准测试中，MMD 的性能与 CFR 相当，在 3x3 暗棋中达到最终可被利用性 -36±2，在幻影井字棋中达到 -57±0。
• 实证结果表明，当使用动作值反馈时，MMD 能收敛至代理 QRE（AQRE），验证了其在 QRE 计算中的理论基础。
• 在 3x3 暗棋中，MMD 表现优于 NFSP，可被利用性为 -36±2，而 NFSP 为 -41±10；在幻影井字棋中也表现出色。
• 该算法在无需策略平均或重要性采样的情况下，成功在深度强化学习设置中最小化可被利用性，展现出在复杂游戏中的可扩展性。
• 理论分析表明，MMD 可求解具有复合结构的变分不等式问题，从而为广义形式博弈中 QRE 的收敛性提供了保证。