[논문 리뷰] Learning more skills through optimistic exploration

DJ Strouse, Kate Baumli외 3명|arXiv (Cornell University)|2021. 07. 29.

Reinforcement Learning in Robotics참고 문헌 35인용 수 4

한 줄 요약

이 논문은 변분적 스킬 발견에서의 고유한 탐색 문제를 해결하기 위해, 분류기 앙상블 간의 불일치를 이용해 지식적 불확실성(epistemic uncertainty)을 추정하고 탐색을 장려하는 내재적 탐색 보너스인 DISDAIN을 제안한다. 새로운 상태에서 분류기 예측의 불확실성을 줄이는 정책 행동을 보상함으로써, DISDAIN은 낙관적인 탐색을 가능하게 하여 기준 방법에 비해 격자 세계와 아케이드 게임 모두에서 스킬 학습을 크게 향상시킨다.

ABSTRACT

Unsupervised skill learning objectives (Gregor et al., 2016, Eysenbach et al., 2018) allow agents to learn rich repertoires of behavior in the absence of extrinsic rewards. They work by simultaneously training a policy to produce distinguishable latent-conditioned trajectories, and a discriminator to evaluate distinguishability by trying to infer latents from trajectories. The hope is for the agent to explore and master the environment by encouraging each skill (latent) to reliably reach different states. However, an inherent exploration problem lingers: when a novel state is actually encountered, the discriminator will necessarily not have seen enough training data to produce accurate and confident skill classifications, leading to low intrinsic reward for the agent and effective penalization of the sort of exploration needed to actually maximize the objective. To combat this inherent pessimism towards exploration, we derive an information gain auxiliary objective that involves training an ensemble of discriminators and rewarding the policy for their disagreement. Our objective directly estimates the epistemic uncertainty that comes from the discriminator not having seen enough training examples, thus providing an intrinsic reward more tailored to the true objective compared to pseudocount-based methods (Burda et al., 2019). We call this exploration bonus discriminator disagreement intrinsic reward, or DISDAIN. We demonstrate empirically that DISDAIN improves skill learning both in a tabular grid world (Four Rooms) and the 57 games of the Atari Suite (from pixels). Thus, we encourage researchers to treat pessimism with DISDAIN.

연구 동기 및 목표

• 변분적 스킬 발견에서 발생하는 본질적인 '낙관적 탐색 문제'를 해결하기 위해, 새로운 상태에서 분류기 예측의 신뢰도가 낮아지며 탐색을 저해하는 문제를 해결한다.
• 악연적 불확실성(나쁜 정책 성능)과 지식적 불확실성(학습 데이터 부족)을 구분하여, 후자를 탐색에 유용한 신호로 활용한다.
• 스킬 발견에 특화된 내재적 탐색 보너스를 설계하여, 분류기 파라미터에 대한 정보량 증가를 직접 추정하고 보상한다.
• 제안된 DISDAIN 보너스가 표본 기반 환경과 픽셀 기반 환경 모두에서 학습된 스킬의 수와 다양성 향상에 기여함을 실증적으로 검증한다.

제안 방법

• 스킬 분류기의 앙상블을 훈련시켜, 구성원 간의 예측 불일치를 통해 지식적 불확실성을 추정한다.
• DISDAIN 보너스를 앙상블 평균 예측의 음의 엔트로피로 정의하며, 이는 예측이 불확실하고 다양한 경우에 증가한다.
• DISDAIN 보너스를 내재적 보상 신호로 사용하여 정책을 최적화함으로써, 앙상블이 불일치하는 상태로의 탐색을 장려한다.
• 베이지안 관점에서 DISDAIN을 공식적으로 유도하며, 분류기 파라미터의 사후분포를 앙상블로 모델링하고 정보량 증가를 최대화한다.
• DIAYN과 같은 기존의 변분 인포맥스 스킬 학습 프레임워크에 DISDAIN을 통합하여 핵심 스킬 학습 목표를 수정하지 않는다.
• 보상의 가중치와 앙상블 크기와 같은 초모델 하이퍼파라미터를 탐색 분석을 통해 조정하여 내재적 보상과 외재적 보상의 균형을 이룬다.

실험 결과

연구 질문

• RQ1 스킬 발견 과정에서 분류기 앙상블의 불일치가 지식적 불확실성에 대한 신뢰할 수 있는 신호로 작용할 수 있는가?
• RQ2 DISDAIN을 내재적 보너스로 사용할 경우, 비지도 스킬 발견에서 학습된 스킬의 수와 다양성이 향상되는가?
• RQ3 DISDAIN은 스킬 학습 성능에서 pseudocount 기반 및 RND 기반 탐색 보너스와 비교해 어떻게 성능을 내는가?
• RQ4 DISDAIN은 다양한 하이퍼파라미터 설정과 환경에서 성능 유지가 가능한가?

주요 결과

• FOUR ROOMS 격자 세계에서 DISDAIN은 내재적 보너스 없이 학습한 경우 대비 발견된 고유 스킬 수가 25% 증가하여 스킬 학습을 크게 향상시켰다.
• 아케이드 2600 게임 세트에서 DISDAIN은 내재적 보너스 없이 학습한 경우 및 RND 보완 기반 기준보다 더 높은 제로샷 보상 성능과 향상된 라이프타임 상태 커버리지 성능을 달성했다.
• RND는 스킬 학습 향상에 기여하지 못했고, 보너스 가중치를 높일수록 성능이 악화되어 비정적 스킬 학습 목표와의 불일치를 보였다.
• DISDAIN 보너스 없이 앙상블만 사용하는 '앙상블 전용' 기준 모델은 최소한의 성능 향상만 보였으며, 이는 내재적 보너스 메커니즘이 핵심이지 앙상블 자체가 핵심이 아니라는 점을 확인한다.
• DISDAIN은 앙상블 크기와 보너스 가중치를 포함한 다양한 하이퍼파라미터 설정에서도 뛰어난 성능 유지를 보이며 강건성을 입증했다.
• 정성적 분석 결과, DISDAIN은 제로샷 평가에서 향상 확률이 높고, 아케이드 게임 전반에 걸쳐 개선도 백분위수 분포가 더 우수한 경향을 보였다.