[논문 리뷰] Meta-Reinforcement Learning Robust to Distributional Shift via Model Identification and Experience Relabeling

Russell Mendonca, Xinyang Geng외 2명|arXiv (Cornell University)|2020. 06. 12.

Reinforcement Learning in Robotics참고 문헌 33인용 수 18

한 줄 요약

이 논문은 모델 식별을 통해 동역학 및 보상 모델을 경사 하강법을 통해 신속히 적응시키고, 경험 재라벨링을 통해 정책 미세조정을 위한 합성 데이터를 생성함으로써 분포 이탈에 대한 강건성을 향상시키는 메타강화학습 알고리즘 MIER를 제안한다. MIER는 HalfCheetah 및 Ant 환경에서 분포 밖 작업에 대해 MAML, PEARL, GrBAL을 모두 능가하며, 특히 어려운 동역학 및 보상 외삽 설정에서 뛰어난 성능을 보인다.

ABSTRACT

Reinforcement learning algorithms can acquire policies for complex tasks autonomously. However, the number of samples required to learn a diverse set of skills can be prohibitively large. While meta-reinforcement learning methods have enabled agents to leverage prior experience to adapt quickly to new tasks, their performance depends crucially on how close the new task is to the previously experienced tasks. Current approaches are either not able to extrapolate well, or can do so at the expense of requiring extremely large amounts of data for on-policy meta-training. In this work, we present model identification and experience relabeling (MIER), a meta-reinforcement learning algorithm that is both efficient and extrapolates well when faced with out-of-distribution tasks at test time. Our method is based on a simple insight: we recognize that dynamics models can be adapted efficiently and consistently with off-policy data, more easily than policies and value functions. These dynamics models can then be used to continue training policies and value functions for out-of-distribution tasks without using meta-reinforcement learning at all, by generating synthetic experience for the new task.

연구 동기 및 목표

• 메타테스트 시간에 분포 밖 작업으로의 일반화 능력에 한계를 가진 메타강화학습 방법의 문제를 해결하기 위해.
• 정책 적응을 위한 온정책 메타학습을 피하고 이완정책 학습이 가능한 샘플 효율적인 메타강화학습 접근법을 개발하기 위해.
• 학습된 동역학 및 보상 모델을 활용해 합성 경험을 생성함으로써 분포 밖 작업에 대해 일관된 적응을 가능하게 하기 위해.
• 정책 적응을 위한 모델 메타학습과를 분리함으로써 표준 이완정책 강화학습을 사용해 재라벨링된 데이터로 정책을 미세조정할 수 있도록 하기 위해.

제안 방법

• 모델 식별은 경사 기반 지도형 메타학습을 사용해 작업별 동역학 및 보상 함수를 캡슐화하는 컨텍스트 변수를 추론하며, 소수의 경사 하강 스텝을 통해 빠른 적응을 가능하게 한다.
• 정책은 적응된 컨텍스트 변수에 조건화되어 표준 이완정책 강화학습으로 훈련되며, 복잡한 메타강화학습 정책 적응을 피한다.
• 경험 재라벨링은 적응된 동역학 모델을 사용해 메타학습 작업에서 이전에 수집된 모든 전이에 대해 다음 상태와 보상을 예측하고, 합성 경험을 생성한다.
• 재라벨링에서 생성된 합성 데이터는 이완정책 강화학습을 통해 정책의 미세조정에 사용되며, 새로운 작업이 메타학습 분포를 벗어나도 계속적인 향상이 가능하다.
• 이 방법은 모델 식별과 경험 재라벨링을 조합한다: 첫 번째는 빠른 작업 적응을 가능하게 하고, 두 번째는 분포 밖 작업으로의 강건한 일반화를 가능하게 한다.
• 정책을 재라벨링된 데이터로 표준 강화학습으로 훈련함으로써 온정책 메타학습을 피함으로써 샘플 효율성과 확장성을 향상시킨다.

실험 결과

연구 질문

• RQ1 온정책 메타학습에 의존하지 않고도 메타강화학습 방법이 분포 밖 작업으로의 강건한 일반화를 달성할 수 있는가?
• RQ2 이완정책 데이터를 사용해 동역학 및 보상 모델을 일관되게 적응시킬 수 있는가? 이를 통해 새로운 작업에서 신뢰할 수 있는 정책 미세조정이 가능한가?
• RQ3 모델 예측 전이와 보상 정보를 사용해 경험을 재라벨링하는 것이 기존 메타강화학습 방법에 비해 분포 밖 작업에서 정책 성능을 향상시키는가?
• RQ4 모델 식별과 경험 재라벨링의 조합이 동역학 및 보상 이탈 상황에서 MAML, PEARL, GrBAL에 비해 외삽 성능 측면에서 어떻게 비교되는가?

주요 결과

• MIER는 HalfCheetah-Velocity 및 Ant-Direction 환경에서 분포 밖 작업에 대해 MAML, PEARL, GrBAL을 모두 능가하며, 특히 보상 함수 외삽 상황에서 뛰어난 성능을 보인다.
• Cheetah-Negated-Joints 작업에서는 MIER-wR(모델 식별만 적용)가 PEARL 및 MAML를 뛰어넘으며, 전체 MIER(재라벨링 포함)는 추가적인 성능 향상을 달성한다.
• 더 어려운 Ant-Negated-Joints 환경에서는 MIER-wR이 PEARL의 성능을 따라가며, 재라벨링를 적용한 MIER는 이를 뛰어넘어 경험 재라벨링의 효과를 입증한다.
• 모든 방법의 성능는 작업이 훈련 분포에서 멀어질수록 저하되지만, MIER는 검증 작업의 모든 난이도 수준에서 일관되게 뛰어난 성능을 유지한다.
• 절단 실험 결과, 경험 재라벨링가 분포 밖 일반화에 필수적임을 확인하였으며, MIER-wR(재라벨링 없음)는 어려운 작업에서 전체 MIER보다 열등한 성능을 보였다.