[논문 리뷰] Automated curricula through setter-solver interactions

Sébastien Racanière, Andrew K. Lampinen외 4명|arXiv (Cornell University)|2019. 09. 27.

Reinforcement Learning in Robotics참고 문헌 28인용 수 34

한 줄 요약

본 논문은 동적이고 희소 보상 환경에서 목표 조건 강화학습(goal-conditioned RL)을 위한 자동 커리큘럼 생성을 위한 setter-solver 프레임워크를 제시하며, 목표 타당성(goal validity), 실현 가능성(goal feasibility), 커버리지(goal coverage)를 핵심 목표로 강조하고, 환경 관찰에 조건을 두고 원하는 목표 분포를 타깃하는 것을 시연한다.

ABSTRACT

Reinforcement learning algorithms use correlations between policies and rewards to improve agent performance. But in dynamic or sparsely rewarding environments these correlations are often too small, or rewarding events are too infrequent to make learning feasible. Human education instead relies on curricula--the breakdown of tasks into simpler, static challenges with dense rewards--to build up to complex behaviors. While curricula are also useful for artificial agents, hand-crafting them is time consuming. This has lead researchers to explore automatic curriculum generation. Here we explore automatic curriculum generation in rich, dynamic environments. Using a setter-solver paradigm we show the importance of considering goal validity, goal feasibility, and goal coverage to construct useful curricula. We demonstrate the success of our approach in rich but sparsely rewarding 2D and 3D environments, where an agent is tasked to achieve a single goal selected from a set of possible goals that varies between episodes, and identify challenges for future work. Finally, we demonstrate the value of a novel technique that guides agents towards a desired goal distribution. Altogether, these results represent a substantial step towards applying automatic task curricula to learn complex, otherwise unlearnable goals, and to our knowledge are the first to demonstrate automated curriculum generation for goal-conditioned agents in environments where the possible goals vary between episodes.

연구 동기 및 목표

• 복잡하고 동적이며 희소 보상 작업에서 자동 커리큘럼의 필요성을 동기화한다.
• solver 에이전트를 위한 목표 커리큘럼을 생성하는 setter-solver 프레임워크를 제안한다.
• 세 가지 setter 목표를 정의하고 최적화한다: 목표 타당성(goal validity), 목표 실현 가능성(goal feasibility), 목표 커버리지(goal coverage).
• varying 환경을 다루기 위해 환경 관찰에 조건을 두는 것을 탐구한다.
• 이용 가능한 경우 알려진 원하는 작업 분포(targeting a known desired distribution of tasks)를 목표로 삼아 학습 속도를 높일 수 있는지 조사한다.

제안 방법

• 세 가지 구성요소 모델을 도입한다: 해결자(solver; 목표 조건 강화학습 에이전트), 설정자(setter; 목표의 생성 모델), 판단자(judge; 실현 가능성 예측기).
• 분산 정책 그래디언트 학습(V-trace with entropy regularization)을 이용하여 setter가 생성한 목표로 solver를 학습한다.
• 목표 타당성을 목표 달성이 가능한 정책의 존재로 정의하고; 실현 가능성을 solver가 이를 달성할 현재 확률로 정의하며; 커버리지를 생성된 목표의 변동성으로 정의한다.
• Setter 손실: (i) 달성 가능한 목표로 편향하도록 하는 타당성 손실, (ii) 목표를 판단자 예측과 일치시키기 위한 실현 가능성 손실, (iii) 목표 다양성을 극대화하기 위한 커버리지 손실.
• 선택적 확장으로 Wasserstein 판별기를 통한 알려진 원하는 목표 분포 타깃 및 다양한 환경을 다루기 위해 setter/judge를 환경 관찰에 조건시키는 방법이 있다.

실험 결과

연구 질문

• RQ1 자동 커리큘럼이 동적이고 희소 보상 환경에서 목표 조건 강화학습의 학습을 개선할 수 있는가?
• RQ2 목표 타당성, 실현 가능성, 커버리지는 복잡한 작업에서 효과적인 커리큘럼을 함께 가능하게 하는가?
• RQ3 환경 관찰에 setter/judge를 조건화하는 것이 에피소드마다 목표가 달라지는 환경에서 도움이 되는가?
• RQ4 알려진 원하는 목표 분포를 타깃하는 것이 특정 작업의 숙달 속도를 높일 수 있는가?
• RQ5 제안된 접근법이 복잡하고 가변적인 환경에서 Goal GAN과 같은 기존 방법과 비교했을 때 어떤 점이 다른가?

주요 결과

• 세 가지 setter 손실(타당성, 실현 가능성, 커버리지) 모두가 복잡한 환경에서 좋은 성능을 위해 필요하다.
• 환경 관찰에 setter와 judge를 조건화하는 것이 가변적인 환경에서 성능을 향상시킨다.
• 알려진 원하는 분포를 타깃하는 것이 특정 작업의 학습을 accélera할 수 있지만, 이는 작업 구조에 의존한다.
• 제안한 방법은 희소 보상으로 3D 및 그리드 월드 실험에서 베이스라인과 이전 방법들을 능가한다.
• Goal GAN과 비교했을 때 setter-solver 접근법이 테스트된 작업들에서 더 안정적이고 효과적이다.
• 본 연구는 에피소드마다 목표가 달라지는 환경에서 목표 조건 에이전트를 위한 자동 커리큘럼 생성을 시연한다.