[논문 리뷰] Behavior From the Void: Unsupervised Active Pre-Training

Hao Liu, Pieter Abbeel|arXiv (Cornell University)|2021. 03. 08.

Reinforcement Learning in Robotics참고 문헌 78인용 수 12

한 줄 요약

이 논문은 외부 보상이 없는 조건에서 비지도 강화학습 전처리 방법인 APT(비지도 활성 사전학습)를 제안한다. 이 방법은 대조적 표현 공간에서 입자 기반 엔트로피 최대화를 통해 능동적으로 탐색하고 다양한 행동을 학습한다. APT는 12개의 Atari 게임에서 인간 수준의 성능을 달성했으며, DMControl에서 데이터 효율성과 점점 높아지는 성능 면에서 지도 학습 기반 방법을 능가한다. 특히, 처음부터 학습하기가 매우 어려운 과제들에서도 성능을 발휘한다.

ABSTRACT

We introduce a new unsupervised pre-training method for reinforcement learning called APT, which stands for Active Pre-Training. APT learns behaviors and representations by actively searching for novel states in reward-free environments. The key novel idea is to explore the environment by maximizing a non-parametric entropy computed in an abstract representation space, which avoids challenging density modeling and consequently allows our approach to scale much better in environments that have high-dimensional observations (e.g., image observations). We empirically evaluate APT by exposing task-specific reward after a long unsupervised pre-training phase. In Atari games, APT achieves human-level performance on 12 games and obtains highly competitive performance compared to canonical fully supervised RL algorithms. On DMControl suite, APT beats all baselines in terms of asymptotic performance and data efficiency and dramatically improves performance on tasks that are extremely difficult to train from scratch.

연구 동기 및 목표

• 외부 보상에 접근할 수 없는 조건에서 임의의 작업에 관계없이 사전학습을 가능하게 하여, 처음부터 강화학습 에이전트를 훈련할 때의 데이터 비효율성 문제를 해결하기 위해.
• 기존의 비지도 사전학습 방법의 한계를 극복하기 위해, 예를 들어 고차원 상태 공간에서의 밀도 모델링 어려움이나 사전학습 데이터의 분포 불일치 문제를 해결하기 위해.
• 고차원 관측 공간에서 새로운 상태를 능동적으로 발견할 수 있는 확장 가능한 표현 기반 탐색 전략을 개발하기 위해.
• 다양한 작업 간 일반화 가능한 사전학습된 표현을 통해 최종 강화학습 성능을 향상시키기 위해.
• 비모수적 엔트로피 기반 내재 보상이 희소 보상이나 ImageNet 사전학습보다 더 효과적인 사전학습을 가능하게 하는지 입증하기 위해.

제안 방법

• APT는 고차원 상태 공간에서의 비현실적인 밀도 모델링을 피하기 위해 비모수적 입자 기반 엔트로피 추정기를 사용하여 대조적 표현 공간에서 내재 보상을 계산한다.
• 이 방법은 대조적 학습을 통해 표현 공간을 학습하며, 초구면에서 균일성을 촉진하고 거리의 의미를 부여하여 엔트로피 추정에 유용하게 만든다.
• 탐색은 표현 공간에서 엔트로피를 최대화함으로써 이뤄지며, 이는 환경 전역에서 새로운 상태를 방문하도록 에이전트를 유도한다.
• 사전학습 단계는 환경 보상에 접근하지 않고 수행되며, 이후 희소 또는 조밀한 외부 보상이 있는 최종 작업에 대해 미세조정이 이루어진다.
• 이 방법은 기존의 강화학습 알고리즘과 호환되며, 본 연구에서는 최신의 시각적 강화학습 알고리즘인 DrQ에 적용되었다.
• APT의 변종은 '사망하지 마라'와 같은 양성 신호만을 사용하는 내재 보상(예: 'do not die')을 사용하지만, 엔트로피 기반 내재 보상에 비해 효과적인 탐색이 되지 못함을 입증했다.

실험 결과

연구 질문

• RQ1 학습된 표현 공간에서 엔트로피 최대화가 픽셀 수준의 밀도 모델링이나 ImageNet 사전학습보다 더 효과적인 비지도 사전학습을 가능하게 하는가?
• RQ2 표현 공간의 엔트로피에 기반한 능동적 탐색이 최종 강화학습 과제에서 데이터 효율성과 점점 높아지는 성능을 향상시키는가?
• RQ3 APT는 어려운 과제에서 학습하기가 어려운 경우에 지도 학습 기반 강화학습 기준선 대비 샘플 효율성과 성능 면에서 어떻게 비교되는가?
• RQ4 입자 기반 엔트로피에 기반한 내재 보상이 효과적인 탐색을 위해 필수적인가, 아니면 간단한 신호로도 충분한가?
• RQ5 APT에서 사전학습된 모델은 희소 보상이나 복잡한 보상이 있는 다양한 과제 간에 일반화 가능한가?

주요 결과

• APT는 57개의 Atari 게임 중 12개에서 인간 수준의 성능을 달성했으며, 이는 이전의 비지도 강화학습 방법과 DQN보다 뚜렷이 뛰어난 성능이다.
• 전체 Atari 57 세트에서 APT는 이전의 비지도 방법보다 중앙값 기준 인간 정규화 점수를 3배 높게 기록했다.
• DMControl 세트에서는 APT가 DrQ와 비지도 강화학습 기준선 모두를 점점 높은 성능과 데이터 효율성 면에서 능가했으며, 처음부터 학습하기가 비현실적인 과제들까지 해결했다.
• ‘do not die’ 내재 신호만을 사용하는 변종보다 APT가 약 27배 더 많은 고유한 RAM 상태를 방문함으로써, 효과적인 탐색을 위해 엔트로피 기반 내재 보상이 필수적임을 입증했다.
• 사전학습된 액터-크리틱 헤드에서 미세조정을 수행할 경우, 무작위 초기화보다 빠른 학습이 가능했으며, 5개 게임 중 4개에서 3개의 시드 평균 기준으로 더 뛰어난 성능를 보였다.
• APT는 총 훈련 샘플의 아주 소수만을 사용하여 완전히 지도된 강화학습 알고리즘과 유사한 성능를 달성했으며, 이는 뛰어난 데이터 효율성을 보여준다.