[논문 리뷰] Offline Meta-Reinforcement Learning with Online Self-Supervision

Vitchyr H. Pong, Ashvin Nair외 3명|arXiv (Cornell University)|2021. 07. 08.

Reinforcement Learning in Robotics참고 문헌 58인용 수 8

한 줄 요약

이 논문은 분포 이탈 문제를 완화하기 위해 비정답 라벨링된 온라인 트레이젝터리를 수집하고, 자기지도 학습을 위한 합성 보상(reward)을 생성하는, 준지도 오프라인 메타강화학습(SMAC) 방법을 제안한다. 이는 도전적인 로봇 조작 및 운동 과제에서 완전히 온라인 메타강화학습과 동등한 성능을 달성하며, 자기지도 학습 단계 이후 기존의 오프라인 메타강화학습 방법들보다 뚜렷이 뛰어난 성능을 보인다.

ABSTRACT

Meta-reinforcement learning (RL) methods can meta-train policies that adapt to new tasks with orders of magnitude less data than standard RL, but meta-training itself is costly and time-consuming. If we can meta-train on offline data, then we can reuse the same static dataset, labeled once with rewards for different tasks, to meta-train policies that adapt to a variety of new tasks at meta-test time. Although this capability would make meta-RL a practical tool for real-world use, offline meta-RL presents additional challenges beyond online meta-RL or standard offline RL settings. Meta-RL learns an exploration strategy that collects data for adapting, and also meta-trains a policy that quickly adapts to data from a new task. Since this policy was meta-trained on a fixed, offline dataset, it might behave unpredictably when adapting to data collected by the learned exploration strategy, which differs systematically from the offline data and thus induces distributional shift. We propose a hybrid offline meta-RL algorithm, which uses offline data with rewards to meta-train an adaptive policy, and then collects additional unsupervised online data, without any reward labels to bridge this distribution shift. By not requiring reward labels for online collection, this data can be much cheaper to collect. We compare our method to prior work on offline meta-RL on simulated robot locomotion and manipulation tasks and find that using additional unsupervised online data collection leads to a dramatic improvement in the adaptive capabilities of the meta-trained policies, matching the performance of fully online meta-RL on a range of challenging domains that require generalization to new tasks.

연구 동기 및 목표

• 오프라인 메타강화학습에서 메타학습된 정책이 탐색 정책이 수집한 온라인 데이터에 적응하지 못하는 분포 이탈 문제를 해결하기 위해.
• 오프라인 데이터에 대한 보상 레이블링을 한 번만 수행함으로써 비용이 많이 드는 온라인 보상 수집을 줄이면서 효율적인 메타강화학습 훈련을 가능하게 하기 위해.
• 합성적으로 생성된 보상과 함께 비정답 라벨링된 온라인 상호작용을 활용하여 새로운 과제에 대한 일반화 능력을 향상시키기 위해.
• 자기지도 학습을 통한 온라인 데이터 수집이 오프라인과 온라인 메타강화학습 간의 성능 격차를 해소할 수 있음을 보여주기 위해.
• 컨텍스트 벡터(z)의 분포 이탈이 오프라인 메타강화학습에서의 주요 실패 원인임을 검증하기 위해.

제안 방법

• SMAC는 PEARL 프레임워크를 통해 사전 수집된 보상 레이블이 부여된 오프라인 데이터셋을 사용하여 정책을 메타학습함으로써 잠재 컨텍스트 벡터(z)를 통해 빠른 적응을 가능하게 한다.
• 오프라인 메타학습 이후, 메타학습된 탐색 정책를 사용하여 보상 레이블 없이 추가적인 온라인 트레이젝터리를 수집한다.
• 오프라인 데이터에서 보상 예측 헤드를 훈련시켜 비정답 라벨링된 온라인 트레이젝터리에 대한 합성 보상을 생성한다.
• 합성 보상을 사용하여 AWAC 스타일 업데이트를 통해 메타정책을 미세조정함으로써, 새로운 데이터 분포에 대한 자기지도 적응을 가능하게 한다.
• PEARL의 암시적 추론과 AWAC의 오프라인 강화학습 최적화를 결합함으로써 샘플 효율적인 적응을 가능하게 한다.
• 컨텍스트 벡터(z)는 오프라인 또는 온라인 히스토리에 조건화되어 분포 이탈과 적응 강건성의 평가가 가능하다.

실험 결과

연구 질문

• RQ1 오프라인 데이터와 온라인 탐색 트레이젝터리 간 컨텍스트 벡터(z)의 분포 이탈이 메타강화학습 성능을 떨어뜨리는가?
• RQ2 합성 보상을 사용한 자기지도 학습을 통한 온라인 데이터 수집이 이 분포 이탈을 완화하고 새로운 과제에 대한 적응을 향상시킬 수 있는가?
• RQ3 SMAC는 새로운 과제에 대한 제로샷 일반화 성능 측면에서 완전히 온라인 메타강화학습 및 기존 오프라인 메타강화학습 방법과 비교해 어떻게 성능을 내는가?
• RQ4 자기지도 미세조정의 성능 향상 요인이 적응 향상인지, 탐색 향상인지에 기인하는가?
• RQ5 준지도 접근법이 인간이 제공한 보상 레이블링을 최소화하면서도 온라인 메타강화학습과 비교할 만한 성능를 달성할 수 있는가?

주요 결과

• SMAC는 어려운 Sawyer 조작 환경을 포함한 6개의 벤치마크 과제에서 기존의 오프라인 메타강화학습 방법인 BOReL과 MACAW보다 뚜렷이 뛰어난 성능을 보였다.
• 자기지도 미세조정 이후, SMAC는 모든 과제에서 완전히 온라인 메타강화학습과 동등한 성능을 달성하여 분포 이탈의 효과적인 완화를 입증했다.
• Ant Direction 과제에서는 자기지도 학습 이후, 정책의 행동이 오프라인 및 온라인 컨텍스트 히스토리 양쪽 모두에 대해 강건해져 이전의 성능 격차가 사라졌다.
• 자기지도 단계는 액터 업데이트 제거 실험보다 성능 향상이 더 크며, 이는 분포 이탈 완화가 성공의 핵심 요소임을 시사한다.
• SMAC는 모든 과제에서 메타모방학습 베이스라인보다 성능이 뛰어나, 일반화에 있어 자기지도 적응이 모방학습보다 더 효과적임을 보여준다.
• 시각화 결과는 적응 절차가 히스토리 분포(오프라인 대 온라인)에 민감하며, 자기지도 학습이 이 민감성을 해소함을 확인했다.