[论文解读] DREAM: Deep Regret minimization with Advantage baselines and Model-free learning

Eric Steinberger, Adam Lerer+1 more|arXiv (Cornell University)|Jun 18, 2020

Advanced Bandit Algorithms Research被引用 13

一句话总结

DREAM 是一种无需完美模拟器即可在 Leduc 和翻牌德州扑克等不完美信息两人零和博弈中实现最先进性能的无模型深度强化学习算法。它采用学习到的优势基线和单动作采样 regret 最小化方法，降低方差并收敛至 $\epsilon$-Nash 平衡，性能优于其他无模型方法，并与基于模拟的基线方法相当。

ABSTRACT

We introduce DREAM, a deep reinforcement learning algorithm that finds optimal strategies in imperfect-information games with multiple agents. Formally, DREAM converges to a Nash Equilibrium in two-player zero-sum games and to an extensive-form coarse correlated equilibrium in all other games. Our primary innovation is an effective algorithm that, in contrast to other regret-based deep learning algorithms, does not require access to a perfect simulator of the game to achieve good performance. We show that DREAM empirically achieves state-of-the-art performance among model-free algorithms in popular benchmark games, and is even competitive with algorithms that do use a perfect simulator.

研究动机与目标

• 开发一种无模型深度强化学习算法，使其在不完美信息两人零和博弈中收敛至 Nash 平衡。
• 消除对完美模拟器的依赖，因为现有神经网络 CFR 方法需要完美模拟器以实现低方差和良好性能。
• 在无模型设置中通过单动作采样和学习到的优势基线实现有效的 regret 最小化。
• 在 Leduc Hold’em 和翻牌德州扑克等基准博弈中，实现无模型算法中的最先进性能。
• 与现有无模型基线（如 NFSP）相比，降低样本复杂度和可被利用性。

提出的方法

• DREAM 采用神经形式的反事实 regret 最小化（CFR），每决策点仅采样一个动作，从而实现无模型学习。
• 它使用基于样本的神经优势基线网络 $\hat{Q}$，以降低单动作采样中的方差，灵感源自表格型 CFR 技术。
• 该算法随时间最小化 regret，收敛至 $\epsilon$-Nash 平衡，其中 $\epsilon$ 与神经网络建模误差成正比。
• 价值网络 $\hat{D}^t$ 通过从先前迭代中微调更新，以减少训练开销，消融研究评估了重置策略。
• 策略通过自对弈训练，使用神经网络近似信息状态中的价值函数和动作概率。
• 超参数经过调优，使每次迭代的样本遍历次数与 SD-CFR 等基线方法保持一致，确保公平比较。

实验结果

研究问题

• RQ1 无模型深度强化学习算法是否能在无法访问完美模拟器的情况下，在不完美信息博弈中实现强大性能？
• RQ2 当每个决策点仅采样一个动作时，学习到的优势基线是否能有效降低 regret 最小化中的方差？
• RQ3 在 Leduc Hold’em 和翻牌德州扑克扑克中，DREAM 的性能与无模型和基于模拟的基线相比如何？
• RQ4 不同的价值网络更新策略（如重置与微调）对 DREAM 的收敛性和可被利用性有何影响？
• RQ5 DREAM 在保持完全无模型的前提下，能在多大程度上匹配基于模拟的算法（如 SD-CFR）的性能？

主要发现

• 在 Leduc Hold’em 中，DREAM 优于所有其他无模型深度强化学习算法，与 NFSP 相比，可被利用性降低了两个数量级。
• 在翻牌德州扑克中，经过多日训练后，DREAM 的可被利用性低于 NFSP，显示出更优的样本效率。
• 尽管未使用完美模拟器，DREAM 在 Leduc Hold’em 中的性能与 SD-CFR 相当，表明学习到的基线可弥补缺乏模拟的不足。
• 使用微调的价值网络 ($\hat{D}^t$) 而非从头开始训练，显著降低了训练开销，且性能损失可忽略。
• 消融研究显示，每次迭代仅需少量小批量更新即可完成 $\hat{Q}$ 基线网络的训练，表明计算成本极低。
• DREAM 收敛至 $\epsilon$-Nash 平衡，且 $\epsilon$ 与神经网络建模误差成正比，验证了其理论收敛性。