[논문 리뷰] MAgent: A Many-Agent Reinforcement Learning Platform for Artificial Collective Intelligence

Lianmin Zheng, Jiacheng Yang외 4명|arXiv (Cornell University)|2017. 12. 02.

Reinforcement Learning in Robotics참고 문헌 8인용 수 33

한 줄 요약

MAgent는 수백만 명의 에이전트를 동시에 훈련시킬 수 있도록 설계된 확장 가능한 강화학습 플랫폼으로, 부상하는 집단지능의 연구를 가능하게 한다. 이 플랫폼은 사용자 정의 가능한 에이전트, 도메인 특화 언어를 통한 보상 규칙, 실시간 시각화를 지원하는 대규모 다에이전트 환경을 제공하며, 추격, 수확, 전투와 같은 과제에서 부상하는 협력, 경쟁, 사회적 행동을 입증한다.

ABSTRACT

We introduce MAgent, a platform to support research and development of many-agent reinforcement learning. Unlike previous research platforms on single or multi-agent reinforcement learning, MAgent focuses on supporting the tasks and the applications that require hundreds to millions of agents. Within the interactions among a population of agents, it enables not only the study of learning algorithms for agents' optimal polices, but more importantly, the observation and understanding of individual agent's behaviors and social phenomena emerging from the AI society, including communication languages, leaderships, altruism. MAgent is highly scalable and can host up to one million agents on a single GPU server. MAgent also provides flexible configurations for AI researchers to design their customized environments and agents. In this demo, we present three environments designed on MAgent and show emerged collective intelligence by learning from scratch.

연구 동기 및 목표

• 수백에서 수백만 명의 에이전트를 동시에 지원하는 대규모 다에이전트 강화학습 플랫폼의 부족을 보완하기 위해.
• 인공지능 사회에서 의사소통, 지도력, 이타심과 같은 부상하는 사회현상의 연구를 가능하게 하기 위해.
• AI 에이전트의 집단지능을 훈련하고 관찰하기 위한 고도로 확장 가능하고 유연하며 상호작용 가능한 환경을 제공하기 위해.
• 대규모에서 다에이전트 RL 알고리즘의 개발 및 벤치마킹을 지원하기 위해.
• 실시간 렌더링과 인간-중심 제어를 통해 인공지능 사회의 상호작용 탐색을 촉진하기 위해.

제안 방법

• 고속 시뮬레이션을 위한 C++ 기반의 격자기반 엔진을 사용하여 대규모 에이전트 집단의 시뮬레이션을 수행한다.
• 네트워크 공유와 ID 임bedding을 활용하여 단일 GPU에서 최대 100만 명의 에이전트까지의 확장성을 달성한다.
• 논리적 표현식을 사용해 이벤트와 보상을 정의할 수 있는 보상 기술 언어를 도입한다 (예: '만약 예속자가 사냥감을 공격하면 예속자에게 +1, 사냥감에게 -1을 부여').
• 파이썬 인터페이스를 통해 상태 공간, 행동 공간, 속성 등을 구성 가능한 이질적인 에이전트를 지원한다.
• 줌, 패닝, 수동 에이전트 제어 기능을 포함한 실시간 관찰을 위한 시각적 렌더링을 제공한다.
• 기준 알고리즘으로는 파rameter 공유 DQN, DRQN, A2C를 구현하여 벤치마킹을 수행한다.

실험 결과

연구 질문

• RQ1 어떻게 하면 단일 시뮬레이션에서 수백만 명의 에이전트를 강화학습에 확장 적용할 수 있는가?
• RQ2 대규모 다에이전트 상호작용에서 부상하는 집단적 행동 유형—협력, 경쟁, 지도력 등—은 어떤 것인가?
• RQ3 대규모 인공지능 사회에서 자기 연습 훈련을 통해 부상하는 의사소통이나 사회적 구조가 발생할 수 있는가?
• RQ4 사용자 정의 보상 규칙과 에이전트 구성이 복잡한 전략의 부상에 어떤 영향을 미치는가?
• RQ5 사용자가 실시간으로 대규모 인공지능 사회에 얼마나 깊이 관여하고 영향을 미칠 수 있는가?

주요 결과

• MAgent는 단일 GPU에서 최대 100만 명의 에이전트를 성공적으로 시뮬레이션하여 높은 확장성을 입증한다.
• 추격 환경에서는 예속자가 사냥감을 둘러싸서 포박하는 조율된 행동을 학습하여 국소적 협력을 부상시킨다.
• 수확 환경에서는 에이전트가 음식 섭취를 우선시하지만, 밀도가 높아지면 상호 공격으로 전환되어 자원 부족 상황에서의 경쟁을 반영한다.
• 전투 환경에서는 자기 연습 훈련을 통해 둘러싸기 공격 및 게릴라 전술과 같은 하이브리드 전략을 개발한다.
• 플랫폼은 실시간 시각화와 인간-중심 상호작용을 지원하여 사용자가 에이전트를 제어하고 부상하는 역학을 관찰할 수 있다.
• 보상 기술 언어를 통해 논리 연산을 사용해 복잡한 보상 구조를 다소 자유롭고 표현력 있게 기술할 수 있다.