[论文解读] OpenSpiel: A Framework for Reinforcement Learning in Games

Marc Lanctot, Edward Lockhart+25 more|arXiv (Cornell University)|Aug 26, 2019

Reinforcement Learning in Robotics参考文献 74被引用 106

一句话总结

OpenSpiel 提供一个全面的环境和算法框架，用于通用强化学习和在游戏中进行搜索，支持多种类型的游戏并提供分析工具。

ABSTRACT

OpenSpiel is a collection of environments and algorithms for research in general reinforcement learning and search/planning in games. OpenSpiel supports n-player (single- and multi- agent) zero-sum, cooperative and general-sum, one-shot and sequential, strictly turn-taking and simultaneous-move, perfect and imperfect information games, as well as traditional multiagent environments such as (partially- and fully- observable) grid worlds and social dilemmas. OpenSpiel also includes tools to analyze learning dynamics and other common evaluation metrics. This document serves both as an overview of the code base and an introduction to the terminology, core concepts, and algorithms across the fields of reinforcement learning, computational game theory, and search.

研究动机与目标

• 将 OpenSpiel 作为编写游戏和算法的框架，并在基准游戏上对它们进行评估。
• 介绍将强化学习、计算博弈论与搜索连接起来的术语、核心概念和算法。
• 展示设计目标：简洁性、易用性，以及对研究人员的广泛适用性。

提出的方法

• 描述广义形式博弈表示及其扩展（如同时行动博弈）。
• 详细说明 OpenSpiel API 及其带有 Python 绑定（通过 pybind11 的）C++ 核心。
• 梳理实现的博弈与算法，包括基本、搜索、优化，以及传统的 RL 方法。
• 解释学习算法在多智能体设置中的运作方式，包括对合法动作的处理与不完美信息。
• 提出评估学习动态的策略，如纳什均衡度量和可视化。

实验结果

研究问题

• RQ1 OpenSpiel 能表示和支持用于强化学习研究的哪些类型的博弈和环境？
• RQ2 实现了哪些算法（基本、搜索、优化、RL），它们如何与博弈表示交互？
• RQ3 在 OpenSpiel 内如何分析并可视化学习动态与均衡？
• RQ4 如何以最小摩擦将新的博弈和算法添加到框架中？

主要发现

• OpenSpiel 支持 n-player 零和、合作与一般和、一次性与序贯、以及完全信息和不完全信息的博弈，还包括网格世界和社会困境。
• 它提供一个统一的 API，具备 C++ 核心和 Python 绑定，许多算法用 C++ 和/或 Python 实现。
• 该框架包含经典搜索（极小极大、蒙特卡洛树搜索）与优化（矩阵博弈、序列形式线性规划）方法，以及针对合法行为约束调整的传统 RL 方法（DQN、A2C、EVA）。
• 部分可观察博弈是重点，包括 XFP、NFSP、PSRO、Exploitability Descent、CFR 变体、RCFR 和 Deep CFR 的实现。
• 包括用于评估学习动态的工具及指标，如 NashConv 和 Exploitability，并配有策略和进化动力学的可视化。