[논문 리뷰] Curiosity-driven Exploration in Deep Reinforcement Learning via Bayesian Neural Networks.

Rein Houthooft, Xi Chen외 4명|arXiv (Cornell University)|2016. 05. 31.

Reinforcement Learning in Robotics참고 문헌 3인용 수 48

한 줄 요약

이 논문은 변분 추론을 사용하여 베이지안 신경망에서 환경 동역학에 대한 정보 수익을 최대화하는, 베이지안 딥 강화학습 방법인 변분 정보 최대화 탐색(VIME)을 제안한다. VIME는 희박한 보상 환경에서 연속 제어 작업의 탐색을 향상시키며, 여러 알고리즘과 환경에서 히우리스틱 방법인 엘리프실-그리디 및 노이즈 주입보다 뛰어난 성능을 발휘한다.

ABSTRACT

Scalable and effective exploration remains a key challenge in reinforcement learning (RL). While there are methods with optimality guarantees in the setting of discrete state and action spaces, these methods cannot be applied in high-dimensional deep RL scenarios. As such, most contemporary RL relies on simple heuristics such as epsilon-greedy exploration or adding Gaussian noise to the controls. This paper introduces Variational Information Maximizing Exploration (VIME), an exploration strategy based on maximization of information gain about the agent's belief of environment dynamics. We propose a practical implementation, using variational inference in Bayesian neural networks which efficiently handles continuous state and action spaces. VIME modifies the MDP reward function, and can be applied with several different underlying RL algorithms. We demonstrate that VIME achieves significantly better performance compared to heuristic exploration methods across a variety of continuous control tasks and algorithms, including tasks with very sparse rewards.

연구 동기 및 목표

• 기존의 최적성 보장 방법이 실패하는 고차원 연속 상태 및 동작 공간에서 효과적인 탐색의 과제를 해결한다.
• 희박한 보상 환경에서 엘리프실-그리디 및 가우시안 노이즈와 같은 히우리스틱 탐색 전략의 한계를 극복한다.
• 믿음 업데이트에 기반한 정보 이론적 탐색 전략을 개발하여 확장 가능하게 한다.
• MDP 보상 함수를 수정함으로써 다양한 딥 강화학습 알고리즘과의 통합을 가능하게 한다.

제안 방법

• 환경 동역학의 불확실성을 모델링하고 정보 수익을 추정하기 위해 변분 추론을 사용하는 베이지안 신경망을 사용한다.
• 상태 전이와 모델 사후 분포 업데이트 간의 상호정보량 최대화로 탐색을 공식화한다.
• 변분 사후 업데이트에서 유도된 정보 수익 항을 포함한 환경 보상 함수를 수정한다.
• 정보 수익을 내재적 호기심으로 삽입하여, SAC 및 PPO와 같은 표준 딥 강화학습 프레임워크 내에서 이 방법을 적용한다.
• 연속 공간에서 네트워크 가중치의 사후 분포를 효율적으로 근사하기 위해 확률적 변분 추론을 활용한다.
• 신경망 추론 네트워크를 사용한 암시적 추론을 통해 고차원 관측치로의 확장 가능성을 확보한다.

실험 결과

연구 질문

• RQ1 믿음 업데이트에 기반한 정보 이론적 탐색 전략이 연속 제어 작업에서 샘플 효율성을 향상시킬 수 있는가?
• RQ2 희박한 보상 환경에서 VIME는 엘리프실-그리디 및 노이즈 주입과 같은 히우리스틱 탐색 전략보다 어떻게 비교되는가?
• RQ3 VIME는 다양한 딥 강화학습 알고리즘과 환경으로 얼마나 일반화될 수 있는가?
• RQ4 동역학에 대한 정보 수익을 최대화하는 것이 수렴 속도 향상과 더 나은 최종 성능을 이끌어내는가?

주요 결과

• VIME는 연속 제어 작업에서 엘리프실-그리디 및 가우시안 노이즈와 같은 히우리스틱 탐색 방법보다 뚜렷이 뛰어나다.
• 희박한 보상 환경에서 여러 벤치마크 환경에서 뛰어난 샘플 효율성과 최종 성능를 달성한다.
• AntMaze 및 HalfCheetah와 같은 작업에서 VIME는 학습 속도 향상과 더 높은 최종 수익을 달성한다.
• SAC 및 PPO와 같은 알고리즘과의 통합은 아키텍처 수정 없이도 일관된 성능 향상을 이끌어낸다.
• 베이지안 신경망의 사용은 고차원 공간에서 효과적인 불확실성 추정과 정보 수익 계산을 가능하게 한다.
• VIME는 다양한 환경과 강화학습 알고리즘에서 뛰어난 안정성과 일반화 능력을 보이며, 그 일반화 가능성을 확인한다.