[논문 리뷰] PettingZoo: Gym for Multi-Agent Reinforcement Learning

Justin K. Terry, Benjamin Black외 11명|arXiv (Cornell University)|2020. 09. 30.

Reinforcement Learning in Robotics참고 문헌 35인용 수 146

한 줄 요약

PettingZoo는 보편적인 Python API와 Agent Environment Cycle (AEC) 모델을 도입하여 MARL 연구를 표준화하고 가속화하며, POSG/EFG 기반 API의 한계를 해결한다.

ABSTRACT

This paper introduces the PettingZoo library and the accompanying Agent Environment Cycle ("AEC") games model. PettingZoo is a library of diverse sets of multi-agent environments with a universal, elegant Python API. PettingZoo was developed with the goal of accelerating research in Multi-Agent Reinforcement Learning ("MARL"), by making work more interchangeable, accessible and reproducible akin to what OpenAI's Gym library did for single-agent reinforcement learning. PettingZoo's API, while inheriting many features of Gym, is unique amongst MARL APIs in that it's based around the novel AEC games model. We argue, in part through case studies on major problems in popular MARL environments, that the popular game models are poor conceptual models of games commonly used in MARL and accordingly can promote confusing bugs that are hard to detect, and that the AEC games model addresses these problems.

연구 동기 및 목표

• 접근성, 교환성, 재현성을 향상시키기 위해 MARL을 위한 표준적이고 Gym과 유사한 API를 제안한다.
• 코드 기반 MARL 환경에 더 잘 어울리는 개념적 적합성을 가진 Agent Environment Cycle (AEC) 게임 모델을 소개한다.
• POSG/EFG 기반 MARL 구현에서 관찰되는 개념적·실용적 버그를 AEC가 어떻게 해결하는지 시연한다.
• 다양한 기본 환경 라이브러리를 제공하고 라이브러리와 강의에서의 채택을 보여준다.

제안 방법

• AEC 게임 모델을 정의하고 두 방향에서 POSG와의 동등성을 증명한다 (AEC ⇔ POSG).
• 다수의 에이전트, 에이전트의 죽음/생성, 동적 참여를 지원하면서 Gym과 유사하게 PettingZoo API를 설계한다.
• 순차적 에이전트 동작과 관찰된 보상을 관리하기 위한 agent_iter와 last 메서드를 도입한다.
• 에이전트-키드 공간 및 실험적 유연성을 위한 로우레벨 접근을 갖춘 보편 API를 제공한다.
• 63개의 기본 환경을 번들로 제공하고 광범위한 채택을 위해 주요 MARL 라이브러리와의 호환성을 보장한다.

실험 결과

연구 질문

• RQ1 AEC 모델을 기반으로 한 API가 POSG/EFG 기반 API보다 MARL에 대해 더 직관적이고 강력한 기초를 제공할 수 있는가?
• RQ2 PettingZoo API가 다양한 에이전트 수, 에이전트 생성/소멸 및 동적 참여를 경합 상태 없이 지원하는가?
• RQ3 AEC 기반 API가 기존 MARL 라이브러리 및 환경과 얼마나 잘 통합되며 재현성과 버그에 대한 실질적 영향은 무엇인가?
• RQ4 AEC 게임과 POSG의 표현 능력 차원에서의 관계는 무엇인가?

주요 결과

• AEC 게임은 보상 귀속이 더 명확하고 POSG 기반 API에 비해 경쟁 상태 버그를 줄인다.
• 모든 AEC 게임은 동등한 POSG를 가지며 그 반대도 성립하므로 POSG에 비해 이론적 완전성을 보여준다.
• PettingZoo는 agent_iter와 last를 갖춘 Gym과 유사한 Python API를 제공하여 순차적 에이전트 동작 및 동적 에이전트 집합을 처리한다.
• 라이브러리는 63개의 기본 환경을 포함하고 주요 MARL 라이브러리와 통합되어 채택과 교육에 도움을 준다.
• 사례 연구는 기존 환경에서 POSG로 인한 버그를 보여주며 AEC 기반 API가 이를 방지할 수 있음을 시사한다.