[논문 리뷰] Implicit Generative Modeling for Efficient Exploration

Neale Ratzlaff, Qinxun Bai외 2명|arXiv (Cornell University)|2019. 11. 19.

Reinforcement Learning in Robotics참고 문헌 43인용 수 4

한 줄 요약

이 논문은 딥 강화 학습에서 환경 동역학에 대한 사후 분포를 근사하기 위해 암시적 생성 모델링 기법을 사용하는 새로운 방법을 제안한다. 이 방법은 암시적 스틸 변분 경사 하강법(аморт라이즈드 스틸 변분 경사 하강법)을 활용하여 생성기로부터 다수의 신경망 동역학 모델을 샘플링함으로써 예측 분산을 통해 베이지안 불확실성을 추정하며, 이는 효율적인 탐색을 위한 내재적 보상으로 기능한다. 이는 어려운 희박 보상 환경에서 데이터 효율성 면에서 최신 기법들을 능가한다.

ABSTRACT

Efficient exploration remains a challenging problem in reinforcement learning, especially for those tasks where rewards from environments are sparse. A commonly used approach for exploring such environments is to introduce some "intrinsic" reward. In this work, we focus on model uncertainty estimation as an intrinsic reward for efficient exploration. In particular, we introduce an implicit generative modeling approach to estimate a Bayesian uncertainty of the agent's belief of the environment dynamics. Each random draw from our generative model is a neural network that instantiates the dynamic function, hence multiple draws would approximate the posterior, and the variance in the future prediction based on this posterior is used as an intrinsic reward for exploration. We design a training algorithm for our generative model based on the amortized Stein Variational Gradient Descent. In experiments, we compare our implementation with state-of-the-art intrinsic reward-based exploration approaches, including two recent approaches based on an ensemble of dynamic models. In challenging exploration tasks, our implicit generative model consistently outperforms competing approaches regarding data efficiency in exploration.

연구 동기 및 목표

• 딥 강화 학습에서 샘플 효율성이 낮은 문제, 특히 희박 보상 환경에서의 문제를 해결하기 위해.
• 에이전트의 환경 동역학에 대한 믿음에 대한 불확실성 모델링을 통해 탐색 효율성을 향상시키기 위해.
• 제한적인 분포 가정 없이도 유연하고 비모수적인 사후 근사 방법을 개발하기 위해.
• 기존의 내재적 보상 기반 탐색 방법보다 데이터 효율성과 탐색 커버리지 면에서 뛰어난 성능을 내기 위해.
• 정책 전이를 통한 후속 밀도 보상 작업에 대한 적용 가능성을 평가하기 위해.

제안 방법

• 생성기 네트워크는 암시적 스틸 변분 경사 하강법(аморт라이즈드 스틸 변분 경사 하강법)을 사용하여 동역학 모델 파라미터에 대한 사후 분포를 암시적으로 표현하도록 훈련된다.
• 생성기로부터 이루어지는 각 무작위 샘플은 동역학 모델이 되는 신경망을 생성하며, 이는 사후 분포를 근사하기 위해 다수의 샘플을 제공한다.
• 이러한 샘플된 동역학 모델들 간의 예측 분산을 내재적 보상 신호로 사용하여 불확실한 상태-행동 영역에서의 탐색을 장려한다.
• 직접적으로 진짜 사후 분포와 암시적 사후 분포 간의 KL 발산을 최소화함으로써, 모수적 가정과 ELBO 근사 없이도 방법을 구현한다.
• 단일 훈련 단계 이후에 무제한의 샘플링이 가능하며, 앙상블 방법과 달리 각 샘플을 얻기 위해 재훈련이 필요하지 않다.
• 이 방법은 순수 탐색 및 후속 작업 설정 모두에서 평가되었으며, SAC를 사용한 정책 전이 실험도 포함되어 있다.

실험 결과

연구 질문

• RQ1 암시적 생성 모델링 기법을 사용한 암시적 스틸 변분 경사 하강법(аморт라이즈드 스틸 변분 경사 하강법)이 앙상블 기반 방법보다 동역학 모델의 사후 근사에 더 민첩하고 효율적인가?
• RQ2 암시적 사후 분포로부터 추정한 불확실성이 기존의 내재적 보상 기반 방법보다 데이터 효율적인 탐색에 더 나은 성능을 내는가?
• RQ3 이 불확실성 추정 기반의 사전 훈련된 탐색 정책이 밀도 보상 환경에서 후속 작업 학습을 크게 향상시킬 수 있는가?
• RQ4 순수 탐색 단계의 길이가 정책 전이 설정에서 후속 작업 성능에 어떤 영향을 미치는가?
• RQ5 이러한 방법이 희박한 외부 보상 환경에서 강건하고 효과적인가?

주요 결과

• 제안된 방법은 세 가지 어려운 탐색 과제에서 모두 최신 기반 내재적 보상 기반 탐색 방법보다 데이터 효율성 면에서 뚜렷한 승리를 거두었다.
• 정책 전이 실험에서, 이 방법으로부터 유도된 탐색 정책로 SAC를 초기화한 결과, 100만 단계 훈련에서 MAX, ICM, Disagreement 등의 방법들을 능가하는 성능을 보였다.
• 순수 탐색 단계가 4,000단계 뿐이어도, 이 방법은 SAC 기준선보다 후속 작업 성능을 향상시켜 매우 뛰어난 샘플 효율성을 입증했다.
• 워밍업 설정과 비워밍업 설정 모두에서 이 방법은 모든 기준 기반 방법보다 뚜렷한 성능 격차를 보였으며, 이는 강건성과 전이 가능성의 확인을 의미한다.
• 제거 실험을 통해 더 긴 순수 탐색 단계가 후속 작업 학습 성능을 더욱 향상시키는 것으로 확인되었으며, 탐색 기간이 길어질수록 성능이 단조롭게 증가함을 보였다.
• 결과적으로, 암시적 사후 모델링을 통해 암시적 스틸 변분 경사 하강법(аморт라이즈드 스틸 변분 경사 하강법)을 적용하면, 앙상블 기반의 불일치나 불확실성 측정보다 더 효과적인 불확실성 추정이 가능하다는 것이 입증되었다.