[論文レビュー] PettingZoo: Gym for Multi-Agent Reinforcement Learning

Justin K. Terry, Benjamin Black+11 more|arXiv (Cornell University)|Sep 30, 2020

Reinforcement Learning in Robotics参考文献 35被引用数 146

ひとこと要約

PettingZoo は普遍的な Python API と Agent Environment Cycle (AEC) モデルを導入し、MARL 研究を標準化・加速させる。POSG/EFG ベースの API の制約に対処する。

ABSTRACT

This paper introduces the PettingZoo library and the accompanying Agent Environment Cycle ("AEC") games model. PettingZoo is a library of diverse sets of multi-agent environments with a universal, elegant Python API. PettingZoo was developed with the goal of accelerating research in Multi-Agent Reinforcement Learning ("MARL"), by making work more interchangeable, accessible and reproducible akin to what OpenAI's Gym library did for single-agent reinforcement learning. PettingZoo's API, while inheriting many features of Gym, is unique amongst MARL APIs in that it's based around the novel AEC games model. We argue, in part through case studies on major problems in popular MARL environments, that the popular game models are poor conceptual models of games commonly used in MARL and accordingly can promote confusing bugs that are hard to detect, and that the AEC games model addresses these problems.

研究の動機と目的

• アクセス性、相互運用性、再現性を向上させるための MARL 用の標準的な Gym 風 API を提案する。
• コードベースの MARL 環境により適した概念的適合性を持つ Agent Environment Cycle (AEC) ゲームモデルを導入する。
• POSG/EFG ベースの MARL 実装で見られる概念的・実践的なバグをAECがどのように解決するかを示す。
• 多様なデフォルト環境のライブラリを提供し、ライブラリやコースでの普及を示す。

提案手法

• AEC ゲームモデルを定義し、両方向で POSG との同値性を証明する (AEC ⇔ POSG)。
• 多数のエージェント、エージェントの死/生成、動的参加をサポートしつつ Gym に似た PettingZoo API を設計する。
• 連続的なエージェント行動と観測報酬を管理する agent_iter および last メソッドを導入する。
• エージェントキー付きスペースと実験的柔軟性のための低レベルアクセスを備えた普遍的な API を提供する。
• 63 のデフォルト環境を束ね、主要な MARL ライブラリとの互換性を確保して広範な普及を図る。

実験結果

リサーチクエスチョン

• RQ1 AEC モデルに基づく API は、POSG/EFG ベースの API よりも直感的で堅牢な MARL の基盤を提供できるのだろうか？
• RQ2 PettingZoo API はエージェント数の変動、エージェントの生成/死亡、動的参加をレースコンディションを生じさせずにサポートできるのか？
• RQ3 AEC ベースの API は既存の MARL ライブラリと環境とどの程度統合され、再現性とバグに実際にどのような影響を与えるのか？
• RQ4 表現能力の観点から AEC ゲームと POSG の関係はどうなるのか？

主な発見

• AEC ゲームは報酬の帰属をより明確にし、POSG ベースの API に比べてレース条件バグを減らす。
• すべての AEC ゲームには対応する POSG があり、逆もまた然りで、POSG に対する AEC の理論的完全性を示す。
• PettingZoo は連続的なエージェント行動と動的なエージェント集合を扱う agent_iter と last を備えた Gym 風の Python API を提供する。
• ライブラリは 63 のデフォルト環境を提供し、主要な MARL ライブラリと統合して普及と教育を支援する。
• ケーススタディは既存環境における POSG によるバグを示し、AEC ベースの API がそれを防ぐことを示す。