[論文レビュー] OpenSpiel: A Framework for Reinforcement Learning in Games

Marc Lanctot, Edward Lockhart+25 more|arXiv (Cornell University)|Aug 26, 2019

Reinforcement Learning in Robotics参考文献 74被引用数 106

ひとこと要約

OpenSpiel は、さまざまなゲームタイプをサポートし、一般的な強化学習と探索のための環境とアルゴリズムの包括的なフレームワークを提供します。分析ツールも提供。

ABSTRACT

OpenSpiel is a collection of environments and algorithms for research in general reinforcement learning and search/planning in games. OpenSpiel supports n-player (single- and multi- agent) zero-sum, cooperative and general-sum, one-shot and sequential, strictly turn-taking and simultaneous-move, perfect and imperfect information games, as well as traditional multiagent environments such as (partially- and fully- observable) grid worlds and social dilemmas. OpenSpiel also includes tools to analyze learning dynamics and other common evaluation metrics. This document serves both as an overview of the code base and an introduction to the terminology, core concepts, and algorithms across the fields of reinforcement learning, computational game theory, and search.

研究の動機と目的

• OpenSpielを、ゲームとアルゴリズムを書き、ベンチマークゲームを横断して評価するためのフレームワークとして紹介する。
• 強化学習、計算ゲーム理論、探索を橋渡しする用語、コア概念、アルゴリズムを提示する。
• 研究者に対する設計目標として、シンプルさ、アクセスのしやすさ、幅広い適用性を示す。

提案手法

• 拡張形式ゲームの表現とその拡張（同時手番ゲームなど）を説明する。
• OpenSpiel の API と C++ コア、Python バインディング（pybind11 経由）を詳述する。
• 基本、探索、最適化、従来の RL 手法を含む、実装済みのゲームとアルゴリズムを調査する。
• 学習アルゴリズムがマルチエージェント設定でどう機能するか、合法手の扱いと情報の不完全性を含めて説明する。
• Nash 均衡指標や可視化など、学習ダイナミクスを評価するための戦略を提示する。

実験結果

リサーチクエスチョン

• RQ1 OpenSpiel はどのようなゲームや環境を表現・サポートし、RL 研究に活用できるか？
• RQ2 どのアルゴリズム（基本、探索、最適化、RL）が実装され、ゲーム表現とどのように相互作用するのか？
• RQ3 学習ダイナミクスと均衡を OpenSpiel 内でどのように分析・可視化できるか？
• RQ4 新しいゲームとアルゴリズムを、最小限の摩擦でフレームワークに追加するには？

主な発見

• OpenSpiel は n プレイヤーのゼロサム、協力・一般的和、1Shot/逐次、完全情報・不完全情報ゲーム、グリッドワールド、社会的ジレンマをサポートします。
• C++ コアと Python バインディングを備えた統一 API を提供し、多くのアルゴリズムが C++ および / または Python で実装されています。
• フレームワークには古典的な探索（ミニマックス、MCTS）と最適化（行列ゲーム、シーケンス・フォーム LP）手法、さらには従来の RL アプローチ（DQN、A2C、EVA）を、合法手の制約に適用したものが含まれています。
• 部分観測ゲームを重視しており、XFP、NFSP、PSRO、Exploitability Descent、CFR の派生、RCFR、Deep CFR の実装があります。
• 学習ダイナミクスと指標（NashConv や Exploitability など）の評価ツールと、方策と進化ダイナミクスの可視化を含んでいます。