[논문 리뷰] EX2: Exploration with Exemplar Models for Deep Reinforcement Learning

Justin Fu, John D. Co-Reyes외 1명|arXiv (Cornell University)|2017. 03. 03.

Reinforcement Learning in Robotics인용 수 61

한 줄 요약

EX2는 암시적 상태 밀도를 추정하기 위한 예시 식별기를 도입하여 명시적 생성 모델 없이도 효과적인 탐험을 가능하게 하며, vizDoom에서 강력한 성과와 Atari 및 연속 제어 과제에서 경쟁력 있는 성과를 보여준다.

ABSTRACT

Deep reinforcement learning algorithms have been shown to learn complex tasks using highly general policy classes. However, sparse reward problems remain a significant challenge. Exploration methods based on novelty detection have been particularly successful in such settings but typically require generative or predictive models of the observations, which can be difficult to train when the observations are very high-dimensional and complex, as in the case of raw images. We propose a novelty detection algorithm for exploration that is based entirely on discriminatively trained exemplar models, where classifiers are trained to discriminate each visited state against all others. Intuitively, novel states are easier to distinguish against other states seen during training. We show that this kind of discriminative modeling corresponds to implicit density estimation, and that it can be combined with count-based exploration to produce competitive results on a range of popular benchmark tasks, including state-of-the-art results on challenging egocentric observations in the vizDoom benchmark.

연구 동기 및 목표

• 생성적 관찰 모델에 의존하지 않으면서 딥 RL에서 희소 보상 탐험을 다룬다.
• 상태 참신함을 암시적 밀도로 추정하는 판별적 학습 예시 모델을 개발한다.
• 큰 상태 공간과 고차원 관찰에 스케일링할 수 있도록 예시 학습을 암묵화(amortize)한다.
• novelty 신호를 카운트 기반 탐험 보너스와 통합한다.
• 저차원 벤치마크와 vizDoom 및 Atari와 같은 복합 이미지 기반 영역에서 효과를 입증한다.

제안 방법

• 방문한 각 상태 x*를 다른 모든 상태와 구분하는 판별기 D_x*들로 구성된 예시 모델을 학습한다.
• 예시 판별기가 D_x*(x*)를 통해 잠재 공간의 노이즈를 이용한 스무딩과 함께 P_X(x)의 암시적 밀도 추정을 유도한다는 것을 보인다.
• 인코더 기반 조건부 판별기(암묵화/예시-조건 네트워크)를 사용해 학습을 암묵화한다.
• 특징 공유와 상태별 분류기 수를 줄이기 위해 K-Exemplar 및 암묵화 아키텍처를 도입한다.
• 추가로 탐험 보너스는 R'(s,a)=R(s,a)+β f(D_s(s)) 형태의 강화학습 보상에 반영되며, f(D_s(s))은 추정된 밀도와 연관된다.
• 방법을 의사-카운트 탐험과 연결하고 KDE 및 GANs와의 연결에 대해 논의한다.

실험 결과

연구 질문

• RQ1 명시적 생성 모델 없이도 판별적으로 학습된 예시 모델이 상태 참신함을 추정할 수 있는가?
• RQ2 고차원 시각 작업에서 예시 기반 암시적 밀도 추정이 효과적인 내부 보상으로 작용하는가?
• RQ3 암묵화 또는 K-Exemplar 아키텍처가 예시 기반 탐험을 큰 상태 공간으로 확장할 수 있는가?
• RQ4 Atari 및 vizDoom에서 EX2가 기존 생성모델 기반 탐험 방법과 비교해 어떤 성능을 보이는가?
• RQ5 잠재 공간 스무딩이 밀도 추정과 탐험 보너스에 미치는 영향은 무엇인가?

주요 결과

• EX2는 여러 작업에서 기존의 명시적 밀도 추정 방법과 일치하거나 이를 능가하며, vizDoom DoomMyWayHome+에서 성능을 크게 향상시킨다.
• SwimmerGather와 SparseHalfCheetah에서 EX2 및 파생 방법(VIME, 해싱)은 순진한 TRPO 및 KDE를 크게 능가한다.
• Atari 게임에서 EX2 변형은 기존 밀도 기반 방법과 경쟁력 있는 성능을 달성하며, DoomMyWayHome에서 EX2는 모든 이전 탐험 기법을 크게 능가한다.
• 예시 모델을 통한 암시적 밀도 추정은 명시적 생성 모델이 어려움을 겪는 고차원 이미지 영역에서 강력한 탐험 보너스를 제공한다.
• 암묵화 및 K-Exemplar 아키텍처는 예시 간 공통 표현을 공유하며 확장 가능한 효과적인 밀도 추정을 제공한다.