[논문 리뷰] APS: Active Pretraining with Successor Features

Hao Liu, Pieter Abbeel|arXiv (Cornell University)|2021. 08. 31.

Reinforcement Learning in Robotics인용 수 12

한 줄 요약

APS는 변분 후속 특징을 통해 상태 엔트로피를 동시에 최대화하고 조건부 엔트로피를 최소화하는 새로운 비지도 사전학습 방법을 제안한다. 이는 효율적인 탐색과 빠른 작업 적응을 가능하게 하며, Atari 100k에서 최신 기준 성능을 달성하여 데이터 효율성과 渐近 성능에서 이전 방법을 능가한다.

ABSTRACT

We introduce a new unsupervised pretraining objective for reinforcement learning. During the unsupervised reward-free pretraining phase, the agent maximizes mutual information between tasks and states induced by the policy. Our key contribution is a novel lower bound of this intractable quantity. We show that by reinterpreting and combining variational successor features~\citep{Hansen2020Fast} with nonparametric entropy maximization~\citep{liu2021behavior}, the intractable mutual information can be efficiently optimized. The proposed method Active Pretraining with Successor Feature (APS) explores the environment via nonparametric entropy maximization, and the explored data can be efficiently leveraged to learn behavior by variational successor features. APS addresses the limitations of existing mutual information maximization based and entropy maximization based unsupervised RL, and combines the best of both worlds. When evaluated on the Atari 100k data-efficiency benchmark, our approach significantly outperforms previous methods combining unsupervised pretraining with task-specific finetuning.

연구 동기 및 목표

• 기존의 비지도 사전학습 방법이 겪는 한계, 특히 상호정보 기반 방법의 열악한 탐색 능력과 엔트로피 기반 방법의 작업 조건 부재 문제를 해결하기 위해.
• 상태 엔트로피 최대화와 작업 조건부 행동 학습을 동시에 활용하는 통합된 사전학습 목표를 개발하여 후속 작업 성능을 향상시키기 위해.
• 보상 없이도 효율적인 사전학습을 가능하게 하여 최소한의 환경 상호작용으로 후속 작업에 빠르게 미세조정할 수 있도록 하기 위해.
• 비모수적 엔트로피 최대화와 변분 후속 특징을 조합할 경우 Atari 벤치마크에서 뛰어난 데이터 효율성과 성능을 달성할 수 있음을 입증하기 위해.

제안 방법

• APS는 상태 s와 작업 변수 z 간의 상호정보 I(s;z) = H(s) - H(s|z)를 사전학습 목표로 설정하여 탐색과 작업 특화 행동을 동시에 장려한다.
• 낮은 차원의 추상 표현 공간에서 비모수적 엔트로피 최대화(apt 스타일)를 사용하여 H(s)를 최대화함으로써 탐색을 촉진한다.
• 계산이 어려운 조건부 엔트로피 H(s|z)에 대해 변분 하한을 도입함으로써, 밀도 추정이 필요 없이도 효율적인 최적화를 가능하게 한다.
• 공유 인코더를 통해 표현 공유 학습을 활용하여 데이터 효율성과 표현 품질을 향상시킨다.
• APS는 보상 없이 학습하는 단계에서 엔트로피 최대화를 통해 경험을 수집하고, 이후 희소 보상이 주어지는 후속 작업에 대해 미세조정한다.
• 입자 기반 엔트로피 추정과 후속 특징 모델링을 조합하여 탐색과 작업 특화 기술 발견의 균형을 이룬다.

실험 결과

연구 질문

• RQ1 상태 엔트로피 최대화와 작업 조건부 행동 학습을 조합하면 강화학습의 데이터 효율성을 향상시킬 수 있는가?
• RQ2 조건부 엔트로피 H(s|z)에 대한 변분 하한을 사용할 경우, 밀도 추정이 필요 없이 효과적인 사전학습이 가능한가?
• RQ3 APS는 APT와 VISR에 비해 탐색 능력과 후속 작업 적응 능력에서 어떻게 비교되는가?
• RQ4 공유 표현 학습이 사전학습 단계에서 성능 향상에 얼마나 기여하는가?

주요 결과

• APS는 전체 벤치마크에서 57개의 Atari 게임 중 15개에서 초인간 성능을 달성하여 이전 방법들이 달성한 최대 12개의 초인간 게임을 초월한다.
• 26개 게임으로 구성된 Atari 100k 서브셋에서 APS는 인간 정규화 점수로 평균 99.04, 중앙값 58.80을 기록하여 이전 최신 기준 방법들을 크게 앞서간다.
• 절단 실험 결과, APT와 VISR 변형을 데이터 수집 방법으로 사용할 때 APS가 더 뛰어난 성능을 보이며, 탐색과 작업 조건부 학습의 상호보완적 향상 효과를 입증한다.
• 미세조정을 제거한 상태에서도 강력한 제로샷 성능(평균 점수 81.41)을 기록하여, VISR에 비해 미세조정이 있는 경우보다도 뛰어나며, 사전학습 자체의 가치를 입증한다.
• 공유 인코더를 사용할 경우 데이터 효율성이 향상되며, 공유 인코더 없이 사용한 APS는 평균 점수 87.59로 전체 방법(99.04)보다 낮은 성능을 보였다.