[논문 리뷰] Exploration via Elliptical Episodic Bonuses

Mikael Henaff, Roberta Răileanu외 2명|arXiv (Cornell University)|2022. 10. 11.

Reinforcement Learning in Robotics인용 수 8

한 줄 요약

이 논문은 연속적이고 고차원적인 상태 공간에서 강화학습을 위한 새로운 방법 E3B(타원형 에피소드 보너스를 통한 탐색)를 제안한다. 이는 학습된 임bedding 공간에서 타원형 보너스를 사용하여 카운트 기반 에피소드 보너스를 일반화한다. 이와 함께 자율학습된 역역동 모델을 활용해 환경의 제어 가능한 측면을 포착함으로써, 16개의 MiniHack 작업에서 최신 기술 수준을 달성하고, VizDoom에서는 최상위 방법과 동등한 성능을 보이며, 작업별 특수한 인도적 편향 없이 보상 없이 탐색하는 데서도 기존 방법들을 능가한다.

ABSTRACT

In recent years, a number of reinforcement learning (RL) methods have been proposed to explore complex environments which differ across episodes. In this work, we show that the effectiveness of these methods critically relies on a count-based episodic term in their exploration bonus. As a result, despite their success in relatively simple, noise-free settings, these methods fall short in more realistic scenarios where the state space is vast and prone to noise. To address this limitation, we introduce Exploration via Elliptical Episodic Bonuses (E3B), a new method which extends count-based episodic bonuses to continuous state spaces and encourages an agent to explore states that are diverse under a learned embedding within each episode. The embedding is learned using an inverse dynamics model in order to capture controllable aspects of the environment. Our method sets a new state-of-the-art across 16 challenging tasks from the MiniHack suite, without requiring task-specific inductive biases. E3B also matches existing methods on sparse reward, pixel-based VizDoom environments, and outperforms existing methods in reward-free exploration on Habitat, demonstrating that it can scale to high-dimensional pixel-based observations and realistic environments.

연구 동기 및 목표

• 환경이 에피소드 간으로 변화하는 맥락 기반 MDPs(CMDPs)에서 기존 탐색 방법의 일반화 능력 부족 문제를 해결하기 위해.
• 노이즈가 많거나 고차원적인 환경에서는 실패하지만 현재 성공적인 탐색 방법에서 핵심적인 역할을 하는 카운트 기반 에피소드 보너스의 중요성을 규명하기 위해.
• 작업별 특수한 인도적 편향 없이 다양한 실제 환경에서 작동하는 확장 가능한 일반 목적의 탐색 방법을 개발하기 위해.
• 고차원 픽셀 기반 관측과 동적 또는 관련 없는 특징을 가진 환경에서도 효과적인 탐색을 가능하게 하기 위해.

제안 방법

• E3B는 학습된 임베딩 공간에서 상태 방문 다양성을 모델링함으로써 연속적 상태 공간으로 카운트 기반 보너스를 일반화하는 에피소드 수준의 타원형 보너스를 도입한다.
• 임베딩 공간은 상태 전이에서 행동을 예측함으로써 제어 가능한 환경 측면을 포착하는 역역동 모델을 통해 학습된다.
• 타원형 보너스는 학습된 동역학 기반의 임베딩 공간에서 마할라노비스 거리로 계산되며, 학습된 동역학 하에 다양한 상태를 탐색하도록 유도한다.
• 타원형 보너스 추정의 안정성과 강건성을 향상시키기 위해 공분산 정규화자(λ)를 사용한다.
• 원시 관측에 의존하는 것을 피하기 위해 제어 가능성에 정보가 많은 특징에 집중함으로써 노이즈와 관련 없는 시각적 세부 정보에 대한 민감도를 감소시킨다.
• 이 방법은 확장 가능하며 작업별 특수한 아키텍처 수정이나 사전 지식이 필요하지 않다.

실험 결과

연구 질문

• RQ1 기존의 에피소드 보너스 기반 탐색 방법은 단순한 설정에서는 성공했지만, 복잡하거나 노이즈가 많은 환경에서는 왜 실패하는가?
• RQ2 카운트 기반 에피소드 보너스는 어떻게 연속적 상태 공간으로 일반화할 수 있으며, 그 효과성은 유지될 수 있는가?
• RQ3 자율학습된 역역동 모델이 다양한 작업에서 효과적인 탐색을 가능하게 하는 강건하고 일반적인 특징 표현을 제공할 수 있는가?
• RQ4 타원형 보너스 메커니즘은 실제 환경의 픽셀 기반 관측에서 탐색 효율성과 샘플 효율성을 어느 정도 향상시키는가?
• RQ5 다양한 벤치마크에서 작업별 특수하거나 히وري스틱 기반 보너스 방법과 비교해 E3B는 일반화 능력과 성능 면에서 어떻게 다른가?

주요 결과

• E3B는 작업별 특수한 인도적 편향 없이 16개의 도전적인 MiniHack 작업에서 최신 기술 수준의 성능을 달성하였으며, NovelD, RIDE, AGAC와 같은 기존 방법들을 능가한다.
• Habitat 환경에서 밀도 높은 보상 없이 탐색하는 데서도 기존 방법들보다 뚜렷이 뛰어난 성능을 보이며, 실제 환경의 고차원 관측으로의 확장성을 입증한다.
• VizDoom 환경에서는 희박한 보상, 픽셀 기반 작업에서 기존 최신 기술 수준의 방법들과 동등한 성능을 기록한다.
• 제거 실험 결과, 카운트 기반 에피소드 보너스가 성능에 필수적이며, 각 관측이 고유한 시간 카운터를 가지므로 원시 관측을 사용할 경우 성능이 열 劣화됨을 확인했다.
• E3B는 공분산 정규화자 λ의 선택에 대해 강건하며, λ 값이 0.01에서 1.0 사이에서 변화하더라도 성능 저하가 없어, 안정성과 하이퍼파rameter 조정의 용이성을 보여준다.
• 이전 방법들이 기호 기반 또는 이미지 기반 보너스에 의존해 반복적인 상태를 잘못 인식하는 문제로 실패하는 동적 요소나 관련 없는 특징이 있는 환경(예: MiniHack에서 닫힌 문)에서도 E3B는 성공적으로 처리한다.