[논문 리뷰] Bayesian Curiosity for Efficient Exploration in Reinforcement Learning

Tom Blau, Lionel Ott외 1명|arXiv (Cornell University)|2019. 11. 20.

Reinforcement Learning in Robotics참고 문헌 33인용 수 6

한 줄 요약

이 논문은 높은 차원의 연속적 상태 공간에서 탐색을 효율적으로 유도하기 위해 학습된 잠재 공간 위에서 베이지안 선형 회귀를 사용하여 상태의 신선도를 측정하고 보상하는 계산적으로 효율적인 내재 보상 방법인 Bayesian Curiosity를 제안한다. 탐색되지 않은 영역에서의 불확실성에 보상을 주어, 특히 보상이 희박한 상황에서 고차원 연속 제어 과제에서 학습 속도를 가속화한다. 시뮬레이션 및 실제 로봇 실험에서 $\epsilon$-greedy 및 RND 기준선을 능가한다.

ABSTRACT

Balancing exploration and exploitation is a fundamental part of reinforcement learning, yet most state-of-the-art algorithms use a naive exploration protocol like $ε$-greedy. This contributes to the problem of high sample complexity, as the algorithm wastes effort by repeatedly visiting parts of the state space that have already been explored. We introduce a novel method based on Bayesian linear regression and latent space embedding to generate an intrinsic reward signal that encourages the learning agent to seek out unexplored parts of the state space. This method is computationally efficient, simple to implement, and can extend any state-of-the-art reinforcement learning algorithm. We evaluate the method on a range of algorithms and challenging control tasks, on both simulated and physical robots, demonstrating how the proposed method can significantly improve sample complexity.

연구 동기 및 목표

• 높은 차원의 연속적 상태 공간에서 탐색이 비효율적으로 이루어져 발생하는 높은 샘플 복잡도 문제를 해결한다.
• 기본적인 탐색 전략인 $\epsilon$-greedy 및 가우시안 노이즈와 같은 전략이 알려진 상태를 반복적으로 방문하여 자원을 낭비하는 한계를 극복한다.
• 모든 최신 강화학습 알고리즘과 통합할 수 있는 확장성 있고 모듈화된 내재 보상 메커니즘을 개발한다.
• 외부 보상 신호가 탐색에 거의 도움이 되지 않는 희박한 보상 환경에서 샘플 효율성을 향상시킨다.
• 랜덤 초기화에 대한 강건성과 시뮬레이션 및 물리적 로봇 제어 과제 간의 일반화 능력을 입증한다.

제안 방법

• 고차원 관측치(예: RGB-D 이미지)를 낮은 차원의 의미 있는 표현으로 매핑하기 위해 학습된 잠재 공간 임베딩을 사용한다.
• 잠재 상태와 예측 결과 간의 관계를 모델링하기 위해 베이지안 선형 회귀(BLR)를 적용하고, 모델 불확실성을 추정한다.
• BLR 모델의 예측 분산을 임의의 상태에 대한 불확실성 측도로 계산하며, 이는 이전에 관측된 상태에서의 거리가 멀수록 증가한다.
• 모델의 불확실성 비례로 내재 보상 신호를 생성하여, 이전에 방문한 영역에서 멀리 떨어진 영역을 탐색하도록 유도한다.
• 정책 네트워크나 가치 함수 아키텍처를 수정하지 않고도 표준 강화학습 알고리즘(예: TRPO, SAC)에 내재 보상 신호를 통합한다.
• 상태 유사도와 비유사도를 유지하기 위해 대trastive 목적함수를 사용하여 잠재 공간 임베딩을 RL 정책과 함께 엔드 투 엔드로 훈련한다.

실험 결과

연구 질문

• RQ1 베이지안 불확실성 기반 내재 보상 신호는 고차원 관측치를 갖는 연속 제어 과제에서 샘플 효율성을 향상시키는가?
• RQ2 Bayesian Curiosity는 $\epsilon$-greedy 및 RND와 비교해 수렴 속도와 랜덤 초기화에 대한 강건성 측면에서 어떻게 성능을 내는가?
• RQ3 희박한 보상 환경이나 복잡한 상태공간 기하학(예: 성공 상태와 실패 상태 사이에 통로가 존재하는 경우)에서 이 방법은 더 나은 성능을 내는가?
• RQ4 내재적 탐색 신호는 원시 RGB-D 이미지와 같은 다양한 관측 모odalities로 일반화되는가?
• RQ5 각 에피소드가 실행 비용이 높은 실제 로봇 제어 과제에 이 방법은 어떻게 스케일링되는가?

주요 결과

• Bayesian Curiosity는 샘플 복잡도를 크게 감소시킨다: 시각-운동 기립 과제에서, 3배 적은 타임스텝 수로 RND 및 일반 TRPO보다 높은 성능를 달성한다.
• 다양한 랜덤 시드에 걸쳐 성능의 하위 1/4 수준이 향상되어, 기준선 대비 초기화에 대한 강건성이 뛰어나다는 것을 보여준다.
• 희박한 보상과 기하학적 통로(실패 상태가 성공 상태 근처에 존재하는)가 있는 기립 과제에서, Bayesian Curiosity는 기준선보다 훨씬 빠르게 수렴하며, 기준선의 거의 선형 수렴 곡선과 대비된다.
• 물리적 로봇 팔에서 Bayesian Curiosity는 RND의 중앙값 성능을 따라잡지만 하위 1/4 성능에서 더 빠른 수렴을 보여, 실제 환경에서의 실용적 강건성을 입증한다.
• 고차원 시각 관측 공간에서 가우시안 노이즈 기반의 탐색 전략보다 성능이 뛰어나며, 이러한 방법은 효과적으로 탐색하기 어려운 환경에서 어려움을 겪는다.
• 모델 불확실성 기반 내재 보상은 특히 외부 보상이 희박하거나 오해의 소지가 있는 복잡한 상태공간에서 탐색을 효과적으로 이끌어낸다.