[논문 리뷰] Learning with AMIGo: Adversarially Motivated Intrinsic Goals

Andres Campero, Roberta Răileanu외 4명|arXiv (Cornell University)|2020. 06. 22.

Adversarial Robustness in Machine Learning참고 문헌 57인용 수 48

한 줄 요약

AMIGo는 목표 생성 교사가 학생 정책에 대해 점차 도전적인 내재적 목표를 제시하도록 학습시켜 자발적 커리큘럼을 형성하고, 희소 보상 환경에서 학습을 가능하게 하며 도전적인 MiniGrid 과제에서 최첨단 내재적 동기 기준선을 능가한다.

ABSTRACT

A key challenge for reinforcement learning (RL) consists of learning in environments with sparse extrinsic rewards. In contrast to current RL methods, humans are able to learn new skills with little or no reward by using various forms of intrinsic motivation. We propose AMIGo, a novel agent incorporating -- as form of meta-learning -- a goal-generating teacher that proposes Adversarially Motivated Intrinsic Goals to train a goal-conditioned "student" policy in the absence of (or alongside) environment reward. Specifically, through a simple but effective "constructively adversarial" objective, the teacher learns to propose increasingly challenging -- yet achievable -- goals that allow the student to learn general skills for acting in a new environment, independent of the task to be solved. We show that our method generates a natural curriculum of self-proposed goals which ultimately allows the agent to solve challenging procedurally-generated tasks where other forms of intrinsic motivation and state-of-the-art RL methods fail.

연구 동기 및 목표

• 희소 보상 RL 과제를 내재적 동기로 해결할 수 있는 학습 프레임워크를 고무한다.
• 학생 정책을 위한 도전적이면서도 달성 가능한 내재적 목표를 생성하는 목표 생성 교사를 제안한다.
• 절차적으로 생성된 환경에서 자동 커리큘럼 생성이 샘플 효율성과 과제 일반화를 향상시킨다는 것을 입증한다.

제안 방법

• AMIGo를 도입하며, 목표 생성 교사 G와 목표 조건부 학생 π로 구성된다.
• 교사 G는 에피소드 시작 시점 또는 달성되었을 때 목표 g를 제시한다; 학생은 g를 달성하는 데 기반한 내재적 보상 r^g와 환경 보상 r^e를 받는다.
• 교사 보상 r^T는 학생이 어렵지만 달성 가능한 목표에 보상을 주며, 목표 난이도 조절을 위해 임계값 t*를 사용한다.
• 학생은 할인된 수익 R_t를 최적화하며, 보상 r_t = r^g_t + r^e_t로 구성된다.
• 환경은 절차적으로 생성된 레이아웃의 MiniGrid 과제이며; 목표는 좌표 (x,y)를 통한 타일 관찰의 변화로 정의된다.
• 보조 손실 집합(다양성, 에피소드 경계 인지, 외재적 목표 정렬)은 탐구되지만 AMIGo에 필수적이지 않다.

실험 결과

연구 질문

• RQ1 목표 생성 교사가 점진적으로 과제 난이도를 높이는 내재적 동기로 구성된 커리큘럼을 학생 정책에 대해 학습할 수 있는가?
• RQ2 도전적이고 절차적으로 생성된 MiniGrid 환경에서 AMIGo가 최첨단 내재적 동기 기준선보다 성과를 낼 수 있는가?
• RQ3 보조 교사 손실의 제거(ablation)가 학습 및 성능에 어떤 영향을 미치는가?
• RQ4 프레임워크가 아키텍처에 독립적이며 다양한 RL 모델과 목표 모달리티에 적응 가능한가?

주요 결과

• AMIGo는 여러 도전적인 MiniGrid 과제에서 최첨단 결과를 달성하고 다른 방법이 실패하는 일부 환경을 해결한다.
• AMIGo는 IMPALA(내재적 동기 없이)와 Count, ICM, RND, RIDE, ASP와 같은 기준선보다 어려운 환경에서 우수한 성과를 보인다.
• 중간 난이도 환경에서는 AMIGo가 다른 강력한 내재적 동기 방법들과 비슷한 성능을 보인다.
• AMIGo는 교사가 학생의 향상에 따라 목표 난이도를 높이는 자연스러운 커리큘럼을 보여준다.
• 학습이 진행됨에 따라 교사와 학생 간의 협력적 및 적대적 역학이 나타난다는 질적 분석을 보여준다.