[论文解读] RLCard: A Toolkit for Reinforcement Learning in Card Games

Daochen Zha, Kwei-Herng Lai+5 more|arXiv (Cornell University)|Oct 10, 2019

Reinforcement Learning in Robotics参考文献 21被引用 31

一句话总结

RLCard 是一个开源工具包，为德州扑克、UNO 和斗地主等复杂纸牌游戏中的强化学习（RL）研究提供标准化、可访问的环境。它通过统一接口支持多智能体、大规模状态/动作空间以及稀疏奖励设置，实现对 DQN 和 NFSP 等 RL 算法的可复现评估与基准测试。实证结果表明，NFSP 在大多数游戏中优于 DQN，而 CFR 在 Leduc Hold'em 中表现出色。

ABSTRACT

RLCard is an open-source toolkit for reinforcement learning research in card games. It supports various card environments with easy-to-use interfaces, including Blackjack, Leduc Hold'em, Texas Hold'em, UNO, Dou Dizhu and Mahjong. The goal of RLCard is to bridge reinforcement learning and imperfect information games, and push forward the research of reinforcement learning in domains with multiple agents, large state and action space, and sparse reward. In this paper, we provide an overview of the key components in RLCard, a discussion of the design principles, a brief introduction of the interfaces, and comprehensive evaluations of the environments. The codes and documents are available at https://github.com/datamllab/rlcard

研究动机与目标

• 通过提供可访问、可复现的研究环境，弥合强化学习与不完美信息游戏之间的鸿沟。
• 解决纸牌游戏中常见的多智能体设置、大规模状态与动作空间以及稀疏奖励等挑战。
• 通过提供一致且文档齐全的接口，使研究人员能够专注于算法开发，而非特定游戏的工程实现。
• 通过标准化的评估工具和基于锦标赛的性能度量，支持 RL 算法的基准测试。
• 通过集成基于规则的智能体、预训练模型和可视化工具，拓展工具包以支持未来评估与分析。

提出的方法

• 该工具包使用统一的环境接口实现多种纸牌游戏——二十一点、Leduc Hold'em、德州扑克、UNO、斗地主和麻将，确保状态与动作编码的一致性。
• 每款游戏均封装在环境类中，支持多智能体与单智能体模式，其他玩家通过预训练模型进行模拟。
• 状态表示与动作抽象可配置，使研究人员能够自定义游戏设置以支持算法实验。
• 该工具包提供锦标赛评估框架，通过与基线智能体重复对战的胜率来衡量性能。
• 支持基于值函数（DQN）和基于策略（NFSP、CFR）的 RL 算法，且通过固定随机种子可实现结果复现。
• 性能评估包括与随机智能体对战的自对弈，以及与 CFR 等现有算法的对比，同时提供归一化的运行时间测量以支持效率分析。

实验结果

研究问题

• RQ1 如何在具有大规模状态与动作空间及稀疏奖励的纸牌游戏中有效应用强化学习？
• RQ2 标准 RL 算法如 DQN 和 NFSP 在 UNO 和斗地主等复杂纸牌游戏中表现如何？
• RQ3 在评估 RL 算法时，与随机智能体对战的表现与与更强的预训练智能体对战的表现有何差异？
• RQ4 不同纸牌游戏环境在 RLCard 中的计算效率特征是什么，特别是在每步时间的吞吐量方面？
• RQ5 在多种纸牌游戏中，不同算法方法（如 NFSP 与 DQN 与 CFR）在稳定性与胜率方面的表现如何比较？

主要发现

• NFSP 在大多数环境中优于 DQN，在 Leduc Hold'em 中对 DQN 的收益为 0.0776，在德州扑克中为 1.2493。
• DQN 在二十一点和德州扑克等下注类游戏中对随机智能体表现良好，但倾向于激进下注，且极易被利用。
• 在大型游戏如 UNO、麻将和斗地主中，DQN 和 NFSP 在训练过程中均未表现出明显改进，表明其存在不稳定性且难以学习。
• 对于斗地主、UNO 和麻将等长时间运行的游戏，每步时间的运行时间已归一化，结果显示随着处理器数量增加，吞吐量也随之提升。
• CFR 在 Leduc Hold'em 中表现优异，分别以 0.0776 和 1.2493 的收益战胜 NFSP 和 DQN，证明其在较小游戏树中的有效性。
• 所有环境均可通过固定随机种子实现复现，多次运行结果一致，验证了该工具包在基准测试中的可靠性。