[논문 리뷰] Emergent Tool Use From Multi-Agent Autocurricula

Bowen Baker, Ingmar Kanitscheider외 5명|arXiv (Cornell University)|2019. 09. 17.

Reinforcement Learning in Robotics참고 문헌 70인용 수 335

한 줄 요약

논문은 물리 기반 숨바꼭질 환경에서 다중 에이전트 자기 대결이 자기지도 학습 자동 커리큘럼을 유도하고, 도구 사용을 포함한 six emergent strategies를 제시하며, 전이 기반 평가와 대상 지능 테스트를 제안한다.

ABSTRACT

Through multi-agent competition, the simple objective of hide-and-seek, and standard reinforcement learning algorithms at scale, we find that agents create a self-supervised autocurriculum inducing multiple distinct rounds of emergent strategy, many of which require sophisticated tool use and coordination. We find clear evidence of six emergent phases in agent strategy in our environment, each of which creates a new pressure for the opposing team to adapt; for instance, agents learn to build multi-object shelters using moveable boxes which in turn leads to agents discovering that they can overcome obstacles using ramps. We further provide evidence that multi-agent competition may scale better with increasing environment complexity and leads to behavior that centers around far more human-relevant skills than other self-supervised reinforcement learning methods such as intrinsic motivation. Finally, we propose transfer and fine-tuning as a way to quantitatively evaluate targeted capabilities, and we compare hide-and-seek agents to both intrinsic motivation and random initialization baselines in a suite of domain-specific intelligence tests.

연구 동기 및 목표

• 무제한적이고 물리적으로 근거 있는 환경에서 비지도 스킬 발견을 자극한다.
• 다중 에이전트 경쟁이 진행되는 전략의 자동 커리큘룸을 유도함을 시연한다.
• 도구 사용과 협응과 같은 인간 관련 기술의 등장를 보여준다.
• 오픈 엔드 에이전트를 평가하기 위한 전이 학습 및 표적 지능 테스트를 제안한다.
• 연구를 위한 추가 연구를 가능하게 하기 위해 환경과 코드를 오픈소스로 공개한다.

제안 방법

• 혼합 경쟁/협력 물리 기반 숨바꼭질 환경을 사용한다.
• decentralized 실행 및 중앙 집중 학습하에 Proximal Policy Optimization (PPO)와 Generalized Advantage Estimation (GAE)을 사용한다.
• 가변 수의 엔티티를 대상으로 자기 주의(Self-attention)를 사용하는 자 아키텍처의 자아 중심, 엔티티 기반 주의 정책을 사용한다.
• 숨바꼭질 목표에 의해서만 주도된 self-play를 통해 최대 여섯 가지 전략 단계의 등장(발생)을 관찰한다.
• 다중 에이전트 자동 커리큘룸을 도메인 특화 테스트에서 내재적 동기 기반 베이스라인 및 무작위 초기화와 비교한다.
• 전이 및 미세 조정을 평가 프레임워크로 제안하여 지능 과제 모음을 사용한다.

실험 결과

연구 질문

• RQ1 다중 에이전트 경쟁이 물리적으로 근거 있는 환경에서 도구를 사용하는 복잡한 행동을 유도하는 자동 커리큘룸을 만들어낼 수 있는가?
• RQ2 에이전트가 서로 훈련함에 따라 emergent 전략의 단계는 무엇인가?
• RQ3 다중 에이전트 자동 커리큘럼이 환경의 복잡성에 따라 확장되며, 내재적 동기만으로는 어떻게 비교되는가?
• RQ4 전이 학습과 표적 지능 테스트가 오픈 엔드 학습의 진행 상황을 정량화할 수 있는가?
• RQ5 사전 학습된 에이전트는 도메인 특화 조작 및 인지 과제에서 베이스라인에 비해 어떻게 성능을 보이는가?

주요 결과

• 훈련 중 최대 여섯 가지의 전략 및 카운터 스트래티지 단계가 나타난다.
• 도둑은 움직일 수 있는 상자와 벽으로 대피소를 짓는 법을 배우고, 추적자는 경사로를 이용해 요새를 침투하는 법을 배운다.
• 추적자와 은신자 전략에는 경사로 사용, 경사로 방어, 상자 서핑, 서핑 방어가 포함된다.
• 다중 에이전트 자동 커리큘룸은 환경의 복잡성에 따라 확장되며 내재적 동기 베이스라인보다 인간과 관련된 행동을 더 많이 나타낸다.
• 전이 실험은 은닉-추적 pretrained 에이전트가 베이스라인에 비해 5개 중 3개 과제에서 더 빠른 수렴 또는 개선된 성능을 보였음을 시사한다.
• 본 작업은 추가 연구를 지원하기 위한 오픈소스 환경과 코드를 제공합니다.