[논문 리뷰] Unsupervised Curricula for Visual Meta-Reinforcement Learning

Allan Jabri, Kyle Hsu외 4명|arXiv (Cornell University)|2019. 12. 09.

Reinforcement Learning in Robotics인용 수 26

한 줄 요약

이 논문은 시각적 작업의 커리큘럼을 자동으로 생성함으로써 메타강화학습을 비지도 학습 방식으로 수행할 수 있도록 하는 CARML을 제안한다. 이 방법은 매개변수화된 밀도 모델을 통해 메타학습자의 궤적 분포를 모델링함으로써 구현된다. 작업 분포를 갱신하고 메타-RL을 이원적으로 반복함으로써, 효과적인 사전학습을 가능하게 하여 최종 작업으로의 전이를 촉진하고, 픽셀 기반 환경에서 수동으로 정의된 보상이 없는 상황에서도 감독 기반 메타-RL의 수렴 속도를 높인다.

ABSTRACT

In principle, meta-reinforcement learning algorithms leverage experience across many tasks to learn fast reinforcement learning (RL) strategies that transfer to similar tasks. However, current meta-RL approaches rely on manually-defined distributions of training tasks, and hand-crafting these task distributions can be challenging and time-consuming. Can "useful" pre-training tasks be discovered in an unsupervised manner? We develop an unsupervised algorithm for inducing an adaptive meta-training task distribution, i.e. an automatic curriculum, by modeling unsupervised interaction in a visual environment. The task distribution is scaffolded by a parametric density model of the meta-learner's trajectory distribution. We formulate unsupervised meta-RL as information maximization between a latent task variable and the meta-learner's data distribution, and describe a practical instantiation which alternates between integration of recent experience into the task distribution and meta-learning of the updated tasks. Repeating this procedure leads to iterative reorganization such that the curriculum adapts as the meta-learner's data distribution shifts. In particular, we show how discriminative clustering for visual representation can support trajectory-level task acquisition and exploration in domains with pixel observations, avoiding pitfalls of alternatives. In experiments on vision-based navigation and manipulation domains, we show that the algorithm allows for unsupervised meta-learning that transfers to downstream tasks specified by hand-crafted reward functions and serves as pre-training for more efficient supervised meta-learning of test task distributions.

연구 동기 및 목표

• 메타-RL을 위한 수작업으로 정의된 작업 분포 설계 문제를 해결하기 위해, 이는 복잡한 환경에서는 시간이 많이 들고 비현실적인 문제이다.
• 외부 보상이나 작업 사양 없이도 시각적 환경에서 비지도 학습을 통한 스킬 습득과 탐색을 가능하게 하기 위해.
• 에이전트의 경험에 기반하여 동적으로 작업 커리큘럼을 재조정하는 닫힌 루프를 형성함으로써 스킬 탐색과 메타학습을 공적적(공동적)으로 개선하기 위해.
• 분류 기반 클러스터링과 생성 모델링을 사용하여 고차원 시각적 관측에 대해 비지도 메타-RL을 스케일링하기 위해.
• 비지도 사전학습이 최종 감독 기반 메타-RL을 위한 효과적인 초기화로 기능할 수 있는지 평가하기 위해.

제안 방법

• 이 방법은 변동형 EM 프레임워크를 사용하며, E단계에서는 메타학습자의 궤적 데이터로부터 작업 분포를 표현하기 위해 분류적으로 학습된 임bedding 공간에서 가우시안 믹스처 모델(GMM)을 피팅한다.
• M단계에서는 현재 작업 분포에서 메타-RL을 수행하며, GMM에서 샘플링된 보상 함수를 사용하여 메타정책을 훈련시킨다.
• 고차원 시각적 공간에서 모드 붕괴를 방지하기 위해 분류적 및 생성적 모델의 하이브리드를 사용하여 학습된 스킬이 구분 가능하고 다양하도록 보장한다.
• 에이전트가 학습함에 따라 최근 경험에 대해 주기적으로 GMM을 다시 피팅함으로써 커리큘럼이 반복적으로 재조정되며, 이로써 학습에 따라 동적으로 작업 분포가 변화한다.
• 경로 수준의 작업 습득을 위한 시각적 특징 품질 향상을 위해 순환 메타정책과 대비적 표현 학습 목표를 활용한다.
• 경험 재생을 관리하고 치명적인 잊힘을 완화하기 위해 유량 샘플링을 사용한다.

실험 결과

연구 질문

• RQ1 수동으로 정의된 작업 분포 없이도, 비지도 커리큘럼을 자동으로 생성하여 시각적 환경에서 메타-RL을 지원할 수 있는가?
• RQ2 스킬 탐색과 메타학습을 공적적으로 조율함으로써, 파이프라인 방식에 비해 최종 작업으로의 전이 성능가 향상되는가?
• RQ3 비지도 메타-RL이 최종 작업 분포에서 더 효율적인 감독 기반 메타-RL을 위한 사전학습으로 기능할 수 있는 정도는 어느 정도인가?
• RQ4 비지도 커리큘럼이 최종 작업의 의미론과 일치하지 않을 경우 직접 전이의 한계는 무엇인가?
• RQ5 이 방법은 고차원 시각적 관측에 어떻게 스케일링되며, 작업 공간에서의 모드 붕괴를 어떻게 방지하는가?

주요 결과

• CARML은 보상 함수를 수동으로 조정하지 않아도, 시각적 탐색 및 조작 환경에서 목표 도달 작업으로의 전이를 성공적으로 수행함을 보여주었다.
• 감독 기반 메타-RL의 미세조정 과정에서 수렴 속도가 빨라졌으며, 이는 비지도 사전학습이 최종 작업 분포에 대해 강력한 초기화를 제공함을 시사한다.
• ViZDoom 탐색 환경에서, CARML은 직접 전이에서 베이스라인을 능가했지만, 작업 분포 불일치와 높은 시각적 복잡성으로 인해 성능이 제한되었다.
• Sawyer 조작 환경에서는 ViZDoom에 비해 직접 전이 성능이 떨어졌으며, 이는 시각적 풍부도가 낮고 비지도 커리큘럼과 테스트 작업의 의미론적 격차가 더 크기 때문일 것이다.
• CARML을 통해 학습된 메타정책은 감독 기반 메타-RL에서 가속화된 학습을 가능하게 하여, 목표 작업 분포에 대한 효과적인 적응을 위한 샘플 수를 줄였다.
• 절단 실험을 통해 작업 분포에서 분류적 클러스터링과 생성 모델링의 조합이 모드 붕괴를 방지하고 다양한 스킬 습득을 가능하게 하는 데 핵심적임을 확인했다.