[논문 리뷰] VIME: Variational Information Maximizing Exploration

Rein Houthooft, Xi Chen외 4명|arXiv (Cornell University)|2016. 05. 31.

Reinforcement Learning in Robotics참고 문헌 39인용 수 376

한 줄 요약

VIME을 소개합니다. VIME은 연속 제어를 위한 호기심 기반 탐색 전략으로, 환경 역학에 대한 정보 이득을 극대화하기 위해 베이지안 신경망에서 변분 추론을 사용하며, 휴리스틱 방법에 비해 탐색을 향상시킵니다.

ABSTRACT

Scalable and effective exploration remains a key challenge in reinforcement learning (RL). While there are methods with optimality guarantees in the setting of discrete state and action spaces, these methods cannot be applied in high-dimensional deep RL scenarios. As such, most contemporary RL relies on simple heuristics such as epsilon-greedy exploration or adding Gaussian noise to the controls. This paper introduces Variational Information Maximizing Exploration (VIME), an exploration strategy based on maximization of information gain about the agent's belief of environment dynamics. We propose a practical implementation, using variational inference in Bayesian neural networks which efficiently handles continuous state and action spaces. VIME modifies the MDP reward function, and can be applied with several different underlying RL algorithms. We demonstrate that VIME achieves significantly better performance compared to heuristic exploration methods across a variety of continuous control tasks and algorithms, including tasks with very sparse rewards.

연구 동기 및 목표

• 고차원 연속 강화학습 환경에서의 탐색 문제를 다룬다.
• 환경 역학에 대한 정보 이득을 극대화하여 탐색을 유도한다.
• 내재 보상을 계산하기 위해 베이지안 신경망과 함께 변분 추론을 사용한다.
• 희소 보상을 포함한 여러 RL 알고리즘과 과제에서 효과를 입증한다.

제안 방법

• 역사(history)가 주어졌을 때 다음 상태와 역학 모델 매개변수 간의 상호정보량으로 호기심을 형식화한다.
• 다이나믹스 모델로 베이지안 신경망을 사용하여 변분 베이즈로 근사 후방 분포를 업데이트한다.
• 내재 보상을 정보 이득 항으로 정의한다: η DKL[q(θ; φt+1) || q(θ; φt)].
• θ에 대해 완전히 인자화된 가우시안 후방을 갖는 실용적인 SGVB(Bayes by Backprop) 학습 루틴을 구현한다.
• 학습 안정화를 위해 재생 풀(replay pool)을 사용하여 주기적으로 후방 분포를 업데이트하고 내재 보상 계산의 효율성을 높인다.
• 연속 제어 과제에서 탐색을 개선하기 위해 VIME을 표준 RL 알고리즘들(예: TRPO, REINFORCE, ERWR)과 통합한다.

실험 결과

연구 질문

• RQ1 VIME이 희소 보상을 갖는 연속 제어 과제에서 탐색 및 최종 성능을 향상시키는가?
• RQ2 TRPO를 넘어 다양한 기본 RL 알고리즘에서도 VIME이 효과적인가?
• RQ3 탐색 매개변수 η가 탐색과 exploitation 간의 균형에 어떤 영향을 주는가?
• RQ4 상태-동작 공간을 이산화하지 않고 고차원 연속 제어에 대해 변분 베이지안 역학 모델이 확장 가능한가?

주요 결과

• VIME은 여러 희소 보상 연속 제어 과제에서 순진한 탐색 전략보다 현저히 우수하게 성능을 발휘한다(예: MountainCar, CartPoleSwingup, HalfCheetah).
• VIME은 TRPO, REINFORCE, ERWR와 결합했을 때 다양한 영역에서 성능 향상을 보인다.
• 이 방법은 희소 보상을 갖는 도전적인 과제들, 계층적 SwimmerGather 과제를 포함해 학습을 가능하게 한다.
• VIME 하의 방문 패턴은 가우시안 노이즈와 비교해 더 확산된 탐색을 보이며 체계적 탐색을 시사한다.
• 다른 알고리즘에 걸쳐 MountainCar가 효과적으로 해결될 수 있는 η 값의 넓은 범위가 존재하여 탐색 신호의 견고함을 시사한다.