[논문 리뷰] Intrinsic Motivation and Automatic Curricula via Asymmetric Self-Play

Sainbayar Sukhbaatar, Zeming Lin외 4명|arXiv (Cornell University)|2017. 03. 15.

Reinforcement Learning in Robotics참고 문헌 27인용 수 142

한 줄 요약

본 논문은 Alice와 Bob이라는 두 정책이 있는 비대칭 셀프 플레이를 도입합니다. Alice가 과제를 생성하고 Bob이 이를 해결하여 비지도 환경 이해를 가능하게 하고, 이는 목표 작업에서 학습 속도를 향상시킵니다.

ABSTRACT

We describe a simple scheme that allows an agent to learn about its environment in an unsupervised manner. Our scheme pits two versions of the same agent, Alice and Bob, against one another. Alice proposes a task for Bob to complete; and then Bob attempts to complete the task. In this work we will focus on two kinds of environments: (nearly) reversible environments and environments that can be reset. Alice will "propose" the task by doing a sequence of actions and then Bob must undo or repeat them, respectively. Via an appropriate reward structure, Alice and Bob automatically generate a curriculum of exploration, enabling unsupervised training of the agent. When Bob is deployed on an RL task within the environment, this unsupervised training reduces the number of supervised episodes needed to learn, and in some cases converges to a higher reward.

연구 동기 및 목표

• 환경 역학을 자율적으로 학습함으로써 외부 보상 없이 탐험하도록 강화 학습 에이전트를 동기부여한다.
• 점차 어려워지는 과제의 커리큘럼을 생성하기 위해 두 에이전트(Alice와 Bob) 기반의 셀프 플레이 프레임워크를 개발한다.
• 셀프 플레이를 통해 생성된 경험이 다양한 연속 및 이산 과제에서 샘플 효율성을 향상시킨다는 것을 보인다.

제안 방법

• 내부 보상을 가진 두 에이전트 설정: Bob의 과제 완료는 음의 시간 기반 보상을 산출하고; Bob이 빠르게 성공하면 Alice의 과제 난이도가 증가하여 커리큘럼을 만든다.
• 작업을 이전 상태로의 복귀 또는 목표 상태 도달로 표현할 수 있는 되돌리거나 재설정 가능한 환경에 적용 가능하다.
• Bob의 정책은 셀프 플레이 에피소드에서 얻은 지식을 이용해 목표 작업을 수행하도록 학습된다.
• Alice와 Bob의 정책은 표 형식이든 신경망이든 될 수 있으며, 두 정책 모두 상태 관찰과 목표를 입력으로 사용한다.
• 학습은 정책 기울기 최적화와 공유 기반선을 사용하여 셀프 플레이 에피소드와 목표 작업 에피소드를 함께 결합한다.

실험 결과

연구 질문

• RQ1 자율적으로 생성된 과제(Alice를 통해)가 Bob의 다운스트림 타깃 작업 학습을 향상시키는 비지도 커리큘럼을 가능하게 할 수 있는가?
• RQ2 셀프 플레이 커리큘럼이 표준 탐사 방법과 비교해 이산 및 연속 환경에서 학습을 가속화하는가?
• RQ3 되돌리거나 재설정 가능한 환경은 비대칭 셀프 플레이의 설계와 효과에 어떤 영향을 미치는가?
• RQ4 단순한 이론적 설정에서 임의의 상태-목표 쌍에 도달하기 위한 빠른 정책을 학습하는 데 셀프 플레이 스키마가 어느 정도까지 기여할 수 있는가(Bob을 보편적 정책으로 보는 관점에서)?

주요 결과

• 비대칭 셀프 플레이는 다양한 도메인에서 목표 작업 학습을 가속화하는 자동 커리큘럼을 생성한다.
• 셀프 플레이는 여러 벤치마크에서 최첨단 탐사 방법과 견주거나 능가할 수 있으며, 때로는 더 빠른 초기 학습으로 유사한 최종 성능을 달성한다.
• 되돌리거나 재설정 가능한 환경에서 이 방법은 샘플 효율성을 향상시키고, 경우에 따라 목표 작업에서 더 빠른 수렴을 달성한다.
• 본 방법은 표 형식과 신경망 아키텍처를 모두 지원하며, 정책 기울기 방법과 결합될 때 연속 제어 작업으로도 확장된다.