[论文解读] From Poincaré Recurrence to Convergence in Imperfect Information Games: Finding Equilibrium via Regularization

Julien Pérolat, Rémi Munos+11 more|arXiv (Cornell University)|Feb 19, 2020

Reinforcement Learning in Robotics参考文献 54被引用 17

一句话总结

该论文将庞加莱回归结果从常规模型推广至序贯不完美信息博弈（IIGs），证明了在该类设置下，Follow the Regularized Leader（FoReL）动态行为可能出现循环。通过引入正则化带来的奖励变换，作者在单调和零和IIGs中实现了强收敛至纳什均衡，使最先进的无模型深度强化学习算法（如NeuRD）能够实时收敛至均衡策略。

ABSTRACT

In this paper we investigate the Follow the Regularized Leader dynamics in sequential imperfect information games (IIG). We generalize existing results of Poincaré recurrence from normal-form games to zero-sum two-player imperfect information games and other sequential game settings. We then investigate how adapting the reward (by adding a regularization term) of the game can give strong convergence guarantees in monotone games. We continue by showing how this reward adaptation technique can be leveraged to build algorithms that converge exactly to the Nash equilibrium. Finally, we show how these insights can be directly used to build state-of-the-art model-free algorithms for zero-sum two-player Imperfect Information Games (IIG).

研究动机与目标

• 解决深度强化学习在不完美信息博弈（IIGs）中缺乏实时收敛的问题，其中时间平均策略虽收敛，但实际策略可能不收敛。
• 将庞加莱回归的理论结果从常规模型推广至序贯IIGs，证明FoReL动态在该类设置下可能出现循环。
• 研究通过正则化修改奖励结构后，对单调和零和博弈中FoReL动态收敛性的影响。
• 提出一种方法，通过奖励变换迭代优化伪解，逼近精确的纳什均衡。
• 设计并评估一种无模型深度强化学习算法（NeuRD），利用上述理论洞见实现在IIGs中的最先进性能。

提出的方法

• 通过在单调性和零和结构假设下分析FoReL动态，将庞加莱回归推广至序贯IIGs。
• 引入一种奖励变换（正则化），通过改变博弈的收益结构来稳定FoReL动态并强制收敛。
• 使用一系列逐渐精确的正则化参数，生成一组逼近真实纳什均衡的伪解序列。
• 将正则化技术应用于基于值的深度强化学习算法，特别地，将Q-learning更新规则与正则化奖励函数相结合。
• 实现NeuRD，一种无模型深度强化学习算法，采用双流架构，分别使用独立网络进行策略和Q值估计，训练过程中使用经验回放和目标网络。
• 应用正则化参数（eta）的指数衰减与自适应调度策略，以提升大规模IIGs中的训练稳定性和收敛性。

实验结果

研究问题

• RQ1 庞加莱回归（已知于常规模型博弈）能否推广至序贯不完美信息博弈？
• RQ2 奖励正则化如何影响单调和零和IIGs中FoReL动态的收敛特性？
• RQ3 能否构建一系列正则化博弈，使其均衡收敛至原始博弈的纳什均衡？
• RQ4 奖励正则化在多大程度上可实现大规模IIGs中深度强化学习策略对纳什均衡的实时收敛？
• RQ5 从正则化中获得的理论洞见在多大程度上可有效转化为一种实用且可扩展的深度强化学习算法，用于IIGs？

主要发现

• 庞加莱回归被推广至序贯双人零和不完美信息博弈，证明了在该类设置下FoReL动态可能出现循环。
• 奖励正则化以一种确保策略收敛至纳什均衡的方式重构博弈，即使在原始博弈的动态行为呈现循环特性时亦成立。
• 该方法构建了一组正则化博弈序列，其均衡收敛至原始博弈的纳什均衡，从而通过迭代优化实现精确收敛。
• 基于所提正则化框架的深度强化学习算法NeuRD，在Kuhn扑克、Leduc扑克、说谎骰子和GoofSpiel中均实现了最先进性能，并实现对均衡策略的实时收敛。
• 实验表明，正则化参数（eta）的自适应与指数衰减调度策略显著提升了多种IIGs中的训练稳定性和收敛速度。
• 在所有测试环境中，采用正则化的策略均实现了实时收敛至纳什均衡，而标准FoReL则表现出循环行为。