[논문 리뷰] Efficient exploration with Double Uncertain Value Networks

Thomas M. Moerland, Joost Broekens외 1명|arXiv (Cornell University)|2017. 11. 29.

Reinforcement Learning in Robotics참고 문헌 33인용 수 14

한 줄 요약

이 논문은 베이지안 드롭아웃과 벨만 방정식을 통한 가우시안 분포 전파를 사용하여 제한된 데이터에서 발생하는 매개변수 불확실성과 확률적 리턴에서 발생하는 수익 불확실성을 함께 모델링하는 딥 강화학습 방법인 더블 언 certainty 밸류 네트워크(DUVN)를 제안한다. 두 가지 불확실성을 통합하고 탐색을 위해 토머슨 샘플링을 사용함으로써, DUVN은 도전적인 탐색 환경에서 학습 효율성을 크게 향상시켰으며, 체인 도메인에서는 표준 $\epsilon$-그리디 및 비지향적 방법보다 뛰어난 성능을 보였고, 표준 Gym 환경에서는 성능을 유지하거나 초월하였다.

ABSTRACT

This paper studies directed exploration for reinforcement learning agents by tracking uncertainty about the value of each available action. We identify two sources of uncertainty that are relevant for exploration. The first originates from limited data (parametric uncertainty), while the second originates from the distribution of the returns (return uncertainty). We identify methods to learn these distributions with deep neural networks, where we estimate parametric uncertainty with Bayesian drop-out, while return uncertainty is propagated through the Bellman equation as a Gaussian distribution. Then, we identify that both can be jointly estimated in one network, which we call the Double Uncertain Value Network. The policy is directly derived from the learned distributions based on Thompson sampling. Experimental results show that both types of uncertainty may vastly improve learning in domains with a strong exploration challenge.

연구 동기 및 목표

• 제한된 데이터에서 발생하는 매개변수 불확실성과 확률적 수익에서 기인하는 수익 불확실성이라는 두 가지 다른 원인의 불확실성을 모델링하여 강화학습의 탐색-이용 갈등 문제를 해결하고자 한다.
• 두 가지 유형의 불확실성을 함께 추정할 수 있는 딥 신경망 아키텍처를 개발하고자 한다.
• 두 가지 불확실성을 통합함으로써 비지향적 방법(예: $\epsilon$-그리디 또는 볼츠만 탐색)보다 더 효율적인 탐색이 가능함을 입증하고자 한다.
• 기존의 딥 Q-네트워크에 최소한의 수정만으로도 구현 가능한 방법을 개발하고자 하며, 베이지안 드롭아웃과 가우시안 출력 분포를 사용하고자 한다.
• 고도로 탐색이 어려운 환경(예: 체인 도메인)과 표준 OpenAI Gym 환경에서 이론적 접근의 타당성을 검증하고자 한다.

제안 방법

• 테스트 시 드롭아웃을 적용한 베이지안 신경망을 사용하여 매개변수 불확실성을 모델링함으로써 사후 예측 분포를 근사한다.
• 벨만 업데이트 방정식을 통해 가우시안 분포를 전파하여 수익 불확실성을 모델링함으로써 상태-행동 쌍에서의 수익 분포를 표현한다.
• 두 가지 불확실성을 하나의 딥 신경망에 통합하여, 평균과 분산을 모두 출력하는 더블 언 certainty 밸류 네트워크(DUVN)로 제안한다.
• 학습된 분포에서 직접적으로 정책을 유도하기 위해 토머슨 샘플링을 사용함으로써, 히وري스틱 탐색 보너스가 필요 없이 체계적인 탐색을 가능하게 한다.
• 표준 딥 Q-네트워크를 수정하여 DUVN을 구현함: 베이지안 추론을 위한 드롭아웃 레이어를 추가하고, 평균 값만 출력하는 출력층을 가우시안 분포 출력층으로 대체한다.
• 표준 딥 강화학습 알고리즘을 사용하여 학습시키며, 매개변수 불확실성과 수익 불확실성 양쪽을 고려한 손실 함수를 사용한다.

실험 결과

연구 질문

• RQ1 단일 딥 네트워크 내에서 매개변수 불확실성과 수익 불확실성을 동시에 모델링하는 것이 강화학습의 탐색 효율성을 향상시킬 수 있는가?
• RQ2 비지향적 탐색 방법(예: $\epsilon$-그리디)과 비교했을 때, 두 가지 불확실성의 공동 모델링은 샘플 효율성과 최종 성능 측면에서 어떻게 다른가?
• RQ3 제안된 방법은 체인 도메인과 같이 높은 탐색 과제를 가진 환경에서 기존 방법보다 뚜렷이 뛰어난 성능을 보일 수 있는가?
• RQ4 DUVN 프레임워크는 표준 딥 Q-네트워크 구현과 호환되며, 최소한의 아키텍처 수정만으로도 구현 가능한가?
• RQ5 베이지안 드롭아웃과 가우시안 벨만 전파의 조합은 각각의 방법을 별도로 사용할 때보다 더 강력하고 효과적인 탐색을 이끌어낼 수 있는가?

주요 결과

• DUVN 방법은 체인 도메인, 즉 매우 도전적인 탐색 환경에서 $\epsilon$-그리디 및 비지향적 탐색 방법보다 뚜렷이 뛰어난 성능을 보였다.
• 표준 OpenAI Gym 환경에서는 DUVN이 비지향적 탐색 방법과 동등하거나 이를 초월하는 성능을 보였으며, 다양한 도메인에서 일관된 향상을 입증하였다.
• 이 방법은 미사용된 행동(높은 매개변수 불확실성)과 열악한 행동(낮은 불확실성)을 효과적으로 구분함으로써 더 지능적인 탐색이 가능했다.
• 베이지안 드롭아웃을 통한 매개변수 불확실성 모델링과 가우시안 분포 전파를 통한 수익 불확실성 모델링은 단일 신경망 내에서 정확하고 고용량의 불확실성 추정이 가능하게 하였다.
• 공동 불확실성 분포 기반의 토머슨 샘플링은 히وري스틱 탐색 보너스 없이도 탐색과 이용의 균형을 자연스럽게 유지하는 정책을 도출하였다.
• DUVN의 구현은 기존의 딥 Q-네트워크에 드롭아웃과 가우시안 출력 헤드를 추가하는 최소한의 수정만으로도 가능하여, 현재의 RL 파이프라인에 쉽게 통합될 수 있었다.