[논문 리뷰] Efficient Off-Policy Meta-Reinforcement Learning via Probabilistic Context Variables

Kate Rakelly, Aurick Zhou외 3명|arXiv (Cornell University)|2019. 03. 19.

Reinforcement Learning in Robotics인용 수 227

한 줄 요약

PEARL은 확률적 잠재 맥락을 사용하여 새로운 작업에 빠르게 적응하는 오프폴리시 메타 강화학습 알고리즘을 도입하며, 20-100X 메타-트레이닝 샘플 효율성과 여섯 개의 연속 제어 벤치마크에서 향상된 수렴 성능을 달성합니다.

ABSTRACT

Deep reinforcement learning algorithms require large amounts of experience to learn an individual task. While in principle meta-reinforcement learning (meta-RL) algorithms enable agents to learn new skills from small amounts of experience, several major challenges preclude their practicality. Current methods rely heavily on on-policy experience, limiting their sample efficiency. The also lack mechanisms to reason about task uncertainty when adapting to new tasks, limiting their effectiveness in sparse reward problems. In this paper, we address these challenges by developing an off-policy meta-RL algorithm that disentangles task inference and control. In our approach, we perform online probabilistic filtering of latent task variables to infer how to solve a new task from small amounts of experience. This probabilistic interpretation enables posterior sampling for structured and efficient exploration. We demonstrate how to integrate these task variables with off-policy RL algorithms to achieve both meta-training and adaptation efficiency. Our method outperforms prior algorithms in sample efficiency by 20-100X as well as in asymptotic performance on several meta-RL benchmarks.

연구 동기 및 목표

• 오프폴리시 학습으로 전환하여 메타-RL에서 샘플 비효율성을 줄인다.
• 확률적 잠재 맥락을 통해 온라인으로 작업 불확실성을 추론하여 구조화된 탐색을 가능하게 한다.
• 오프폴리시 RL과 효율적인 메타 트레이닝을 활용하기 위해 작업 추론과 제어를 분리한다.
• 테스트 시간에 작업 맥_context에 대한 후방 샘플링을 통해 트레이젝트리 수준의 빠른 적응을 가능하게 한다.

제안 방법

• 정책을 조건짓는 확률적 잠재 맥 context Z를 도입하여 정책을 조건화한다: π(a|s,z).
• 최근 경험 c로부터 사후 분포 p(z|c)를 추론하기 위해 변분 인코더 qφ(z|c)를 사용한다.
• 개별 전이에 대해 가우시안 요인들의 곱으로 구성된 순열 불변 인코더로 맥 context를 모델링한다.
• 테스트 시에 qφ(z|c)에서 z를 샘플링하고 에피소드를 위해 고정시켜 구조화된 탐색을 가능하게 하는 후방 샘플링을 사용한다.
• 오프폴리시 데이터로 인코더를 배우/크리틱과 분리하여 학습하고, 액터/크리틱은 SAC와 유사한 목표로 업데이트한다.
• 컨텍스트 샘플링을 RL 데이터 수집과 분리하여 오프폴리시 메타-RL 프레임워크에 기초를 두는 방식으로 접근을 뒷받침한다(Algorithm 1).

실험 결과

연구 질문

• RQ1 RL의 효율적인 오프폴리시 메타 트레이닝을 어떻게 수행하면서 새 작업에 대한 빠른 적응을 유지할 수 있을까?
• RQ2 확률적 잠재 맥 context가 희소 보상, 보이지 않는 작업 환경에서 효과적인 시간적으로 확장된 탐색을 가능하게 하는가?
• RQ3 작업 추론과 제어를 분리하는 것이 메타-RL의 샘플 효율성과 최종 성능을 얼마나 향상시키는가?
• RQ4 작업 맥 context에 대한 후방 샘플링이 메타-RL의 탐색에 있어 기존 방법과 어떻게 비교되는가?
• RQ5 오프폴리시 메타-RL에서 인코더와 정책 학습의 데이터 샘플링 전략은 무엇이 핵심적인가?

주요 결과

• PEARL은 이전 메타-RL 방법들에 비해 메타-트레이닝 샘플 효율성을 20-100X 개선한다.
• PEARL은 여섯 개의 연속 제어 메타-학습 벤치마크에서 수렴 성능의 실질적인 증가를 달성한다.
• 잠재 작업 맥 context에 대한 후방 샘플링은 시간적으로 확장된 탐색을 가능하게 하여 희소 보상 과제에서의 빠른 적응을 돕는다.
• 컨텍스트 추론을 배우-크리틱으로부터 분리하면 메타 학습 데이터 수집과의 분포 차이가 최소화되어 효과적인 오프폴리시 메타-학습이 가능해진다.
• 확률적 잠재 맥 context는 희소 보상 환경에서의 탐색에 중요하며, 결정적 컨텍스트 변형 및 기존 방법보다 희소 탐색 과제에서 더 우수하다.