[논문 리뷰] Arena: A General Evaluation Platform and Building Toolkit for Multi-Agent Intelligence

Yuhang Song, Andrzej Wojcicki외 7명|arXiv (Cornell University)|2019. 05. 17.

Reinforcement Learning in Robotics참고 문헌 96인용 수 8

한 줄 요약

Arena는 다중 에이전트 지능을 위한 일반 평가 플랫폼이자 빌드 툴킷으로, GUI로 구성 가능한 사회적 트리와 다섯 가지 기본 다중 에이전트 보상 체계(BMaRSs)를 통해 35종의 다양한 게임을 제공한다. 연구자들이 새로운 다중 에이전트 시나리오를 만들 수 있도록 지원하며, 최신 딥 다중 에이전트 강화학습 기반 모델을 지원하고, 모든 게임에서 표준화된 성능 평가를 위한 100개의 사전 훈련된 에이전트/팀을 제공한다.

ABSTRACT

Learning agents that are not only capable of taking tests, but also innovating is becoming a hot topic in AI. One of the most promising paths towards this vision is multi-agent learning, where agents act as the environment for each other, and improving each agent means proposing new problems for others. However, existing evaluation platforms are either not compatible with multi-agent settings, or limited to a specific game. That is, there is not yet a general evaluation platform for research on multi-agent intelligence. To this end, we introduce Arena, a general evaluation platform for multi-agent intelligence with 35 games of diverse logics and representations. Furthermore, multi-agent intelligence is still at the stage where many problems remain unexplored. Therefore, we provide a building toolkit for researchers to easily invent and build novel multi-agent problems from the provided game set based on a GUI-configurable social tree and five basic multi-agent reward schemes. Finally, we provide Python implementations of five state-of-the-art deep multi-agent reinforcement learning baselines. Along with the baseline implementations, we release a set of 100 best agents/teams that we can train with different training schemes for each game, as the base for evaluating agents with population performance. As such, the research community can perform comparisons under a stable and uniform standard. All the implementations and accompanied tutorials have been open-sourced for the community at https://sites.google.com/view/arena-unity/.

연구 동기 및 목표

• 현재 게임별 또는 비확장 가능한 솔루션에 의존하는 다중 에이전트 지능을 위한 일반 평가 플랫폼의 부족을 해결하기 위해.
• GUI로 구성 가능한 사회적 트리와 다섯 가지 기본 다중 에이전트 보상 체계(BMaRSs)를 통해 연구자들이 쉽게 새로운 다중 에이전트 문제를 발명하고 구축할 수 있도록 하기 위해.
• 각 35개 게임에 대해 서로 다른 체계로 훈련된 100개의 최고 성능 에이전트/팀을 공개하여 표준화된 벤치마킹을 제공하기 위해.
• 최신 기술 기반의 다중 에이전트 강화학습 알고리즘 개발을 지원하기 위해 최신 기술 기반의 기반 모델을 오픈소스로 제공하기 위해.
• 이동, 충돌 등 기본 행동을 위한 즉시 사용 가능한 조밀한 보상 함수를 제공함으로써 저수준 기술 엔지니어링의 부담을 줄이기 위해.

제안 방법

• 플랫폼은 연구자들이 계층적 에이전트 관계를 정의할 수 있도록 GUI로 구성 가능한 사회적 트리를 도입하여 팀 구조와 사회적 역학을 민첩하게 모델링할 수 있도록 한다.
• 다섯 가지 기본 다중 에이전트 보상 체계(BMaRSs)는 보상 함수에 대한 제약 조건으로 정의되며, 각각 다른 사회적 패러다임(예: 경쟁, 협력, 계층)에 대응한다.
• 각 BMaRS는 복잡한 사회적 상호작용을 쉽게 구성하면서도 검증 메커니즘을 통해 정확성을 보장하는 여러 즉시 사용 가능한 보상 함수를 포함한다.
• 플랫폼은 저수준 에이전트 행동(예: 이동, 충돌, 에너지 관리)을 위한 사전 구현된 조밀한 보상 함수를 제공하여 고수준 다중 에이전트 연구의 가속화를 도모한다.
• Unity와 통합되며, 알고리즘 개발 및 평가를 위한 다섯 가지 최신 기술 기반 딥 다중 에이전트 강화학습 기반 모델의 파이썬 구현을 제공한다.
• 시각적, RAM 표현 방식, 팀 죽음전, 점령-기권, 생존 등 다양한 메커니즘, 실시간, 이산/연속적 동역학을 포함한 35종의 게임 세트를 제공하여 폭넓은 평가 범위를 확보한다.

실험 결과

연구 질문

• RQ1 다양한 게임 메커니즘과 사회적 구조를 지원할 수 있도록 다중 에이전트 지능을 위한 일반 평가 플랫폼을 어떻게 설계할 수 있는가?
• RQ2 GUI로 구성 가능한 사회적 트리와 사전 정의된 보상 체계(BMaRSs)는 연구자들이 얼마나 신속하게 새로운 다중 에이전트 시나리오를 프로토타이핑할 수 있도록 도와주는가?
• RQ3 각 게임당 100개의 사전 훈련된 에이전트/팀을 포함한 표준화된 벤치마크는 서로 다른 훈련 체계 간에 안정적이고 비교 가능한 성능 평가를 보장할 수 있는가?
• RQ4 제공된 딥 다중 에이전트 강화학습 기반 모델들은 Arena의 35종의 다양한 게임에서 높은 성능을 달성하는 데 얼마나 효과적인가?
• RQ5 이 플랫폼은 다중 에이전트 지능 문제의 미개척 분야를 탐색하는 연구자들이 접근 장벽을 어떻게 줄여주는가?

주요 결과

• Arena는 다양한 논리, 표현 방식(시각적/RAM), 메커니즘을 갖춘 35종의 다중 에이전트 게임을 포괄하는 포괄적인 세트를 제공하여 다중 에이전트 시스템의 폭넓은 평가를 가능하게 한다.
• 플랫폼의 GUI로 구성 가능한 사회적 트리와 다섯 가지 BMaRSs를 통해 연구자들은 팀 기반 경쟁, 계층적 협업과 같은 복잡한 사회적 구조를 쉽게 정의하고 실험할 수 있다.
• 각 BMaRS는 의도한 사회적 패러다임을 정확히 구현하도록 검증된 여러 즉시 사용 가능한 보상 함수를 포함하여 정확성과 오류 감소를 보장한다.
• 각 게임당 100개의 사전 훈련된 에이전트/팀이 포함되어 있어 성능 비교를 위한 안정적이고 균일한 기준을 제공한다.
• 다섯 가지 최신 기술 기반 딥 다중 에이전트 강화학습 기반 모델의 오픈소스 구현은 새로운 알고리즘의 신속한 프로토타이핑과 검증을 촉진한다.
• 기본 행동(예: 이동, 에너지 비용, 충돌)을 위한 조밀한 보상 함수의 통합은 고수준 다중 에이전트 전략에 집중하는 연구자들의 엔지니어링 부담을 크게 감소시킨다.