[논문 리뷰] Meta-Reinforcement Learning in Broad and Non-Parametric Environments

Zhenshan Bing, Lukas Knak외 3명|arXiv (Cornell University)|2021. 08. 08.

Domain Adaptation and Few-Shot Learning참고 문헌 20인용 수 4

한 줄 요약

이 논문은 비모수적이고 비정적 작업에 대한 제로샷 적응을 가능하게 하는 메타강화학습 알고리즘인 TIGR를 제안한다. 이 알고리즘은 작업 추론을 위해 가우시안 변동형 오토인코더(VAE)를 사용하고, 작업 동역학을 모델링하기 위해 게이트드 순환단위(GRUs)를 활용한다. 비모수적 환경에서 작업의 동적 변화가 발생할 경우, 기존 최상위 기법들보다 3–10배 빠른 샘플 효율성과 뛰어난 渐近 성능을 달성한다.

ABSTRACT

Recent state-of-the-art artificial agents lack the ability to adapt rapidly to new tasks, as they are trained exclusively for specific objectives and require massive amounts of interaction to learn new skills. Meta-reinforcement learning (meta-RL) addresses this challenge by leveraging knowledge learned from training tasks to perform well in previously unseen tasks. However, current meta-RL approaches limit themselves to narrow parametric task distributions, ignoring qualitative differences between tasks that occur in the real world. In this paper, we introduce TIGR, a Task-Inference-based meta-RL algorithm using Gaussian mixture models (GMM) and gated Recurrent units, designed for tasks in non-parametric environments. We employ a generative model involving a GMM to capture the multi-modality of the tasks. We decouple the policy training from the task-inference learning and efficiently train the inference mechanism on the basis of an unsupervised reconstruction objective. We provide a benchmark with qualitatively distinct tasks based on the half-cheetah environment and demonstrate the superior performance of TIGR compared to state-of-the-art meta-RL approaches in terms of sample efficiency (3-10 times faster), asymptotic performance, and applicability in non-parametric environments with zero-shot adaptation.

연구 동기 및 목표

• 기존 메타강화학습 기법들이 좁은 범위의 파라미터화된 정적 작업 분포를 가정한다는 한계를 해결하기 위해.
• 작업에 특화된 미세조정 없이도 질적으로 다른 비모수적 작업(예: 전진 주행, 후진 주행, 점프 등)에 신속하게 적응할 수 있도록 하기 위해.
• 시험 시간이 아닌 추론 중에 발생하는 비정적 작업 변화에 제로샷 적응을 지원하기 위해.
• 모델리스, 오프-폴리시 강화학습과 비지도 작업 추론을 융합하여 데이터 효율성과 일반화 능력을 향상시키기 위해.
• half-cheetah와 ant와 같은 로봇 제어 환경에서 비모수적 작업 일반화를 위한 벤치마크를 구축하기 위해.

제안 방법

• TIGR는 작업 간 질적 차이를 포착하기 위해 다중 모드 작업 분포를 명시적으로 모델링하기 위해 가우시안 변동형 오토인코더(VAE)를 활용한다.
• 작업 추론을 정책 학습에서 분리하기 위해, 비지도 재구성 목표를 사용하여 MDP 재구성에 대해 VAE를 사전 훈련한다.
• 최근 전이 이력을 처리하는 게이트드 순환단위(GRU)가 실시간으로 작업 정체성을 추론하여 비정적 작업 변화에 동적으로 적응할 수 있도록 한다.
• 정책은 SAC(Soft Actor-Critic)를 사용하여 오프-폴리시로 학습되며, VAE와 GRU를 통해 추론된 작업 조건부 잠재 코드를 활용한다.
• 각 타임스텝에서 최근 전이 이력의 특징을 사용하여 작업 추론을 수행함으로써, 새로운 작업 모드에 즉각적으로 적응할 수 있다.
• 다양한 작업 유형(예: half-cheetah 환경에서의 다양한 이동 목표)을 표현하기 위해 8개의 클러스터를 가진 다중 구성 요소 VAE를 사용한다.

실험 결과

연구 질문

• RQ1 메타강화학습 에이전트는 전진 주행 대비 후진 주행 또는 점프 대비 회전과 같이 질적으로 다른 비모수적 작업에 일반화할 수 있는가?
• RQ2 시험 중이 아닌 추론 중에 발생하는 비정적 작업 변화에 대해 재학습 없이 제로샷 적응을 달성할 수 있는가?
• RQ3 작업 추론을 위해 VAE 기반 생성 모델을 사용할 경우, 가우시안 작업 임베딩 방법 대비 샘플 효율성과 渐近 성능이 향상되는가?
• RQ4 고도로 비모수적 변동성이 있는 환경에서 TIGR는 최상위 기준 메타강화학습 기반 기법들보다 어떻게 성능을 내는가?
• RQ5 메타학습 기간 동안 MDP의 비지도 재구성은 복잡하고 다양한 작업 분포에서의 후속 정책 학습을 효과적으로 지원할 수 있는가?

주요 결과

• TIGR는 비모수적 환경에서 PEARL 및 MAML 등 최상위 기법들보다 3–10배 더 빠른 샘플 효율성을 달성한다.
• 알고리즘은 특히 제로샷 적응 시나리오에서 비모수적 작업에서 뚜렷한 향상된 渐近 성능를 보여준다.
• TIGR는 half-cheetah 환경에서 전진/후진 주행, 목표 도달, 플립 등 총 여덟 가지의 별개의 비모수적 작업에 성공적으로 일반화한다.
• 다중 모드 VAE의 사용 덕분에, 작업 변화가 추론 중에 동적으로 발생하더라도 질적으로 다른 행동 간 정확한 작업 추론이 가능하다.
• 최근 전이 이력에서 실시간으로 GRU 기반 작업 추론을 통해 도출된 제로샷 적응 메커니즘은 재학습 없이도 즉각적인 작업 변화에 대응할 수 있도록 한다.
• 실험 결과, TIGR는 수정된 half-cheetah 및 ant 환경을 포함한 여러 비모수적 벤치마크에서 기존 기법들보다 샘플 효율성과 최종 성능 양면에서 뛰어난 성능을 보였다.