[논문 리뷰] Incentivizing Exploration In Reinforcement Learning With Deep Predictive Models

Bradly C. Stadie, Sergey Levine외 1명|arXiv (Cornell University)|2015. 07. 03.

Reinforcement Learning in Robotics참고 문헌 16인용 수 303

한 줄 요약

이 논문은 고차원 환경인 아케이드 게임과 같은 환경에서 딥 강화학습을 위한 확장 가능한 탐색 방법을 제안한다. 예측 오차를 기반으로 학습된 상태 표현에서 탐색 보너스를 생성하기 위해 딥 예측 모델을 사용한다. 이 방법은 에프실론-그리디, 볼츠만, 톰슨 샘플링 전략보다 우수한 성능을 보이며, 빠른 학습 속도와 더 높은 최종 점수를 기록하여 여러 게임에서 최신 기술 수준의 성과를 달성한다.

ABSTRACT

Achieving efficient and scalable exploration in complex domains poses a major challenge in reinforcement learning. While Bayesian and PAC-MDP approaches to the exploration problem offer strong formal guarantees, they are often impractical in higher dimensions due to their reliance on enumerating the state-action space. Hence, exploration in complex domains is often performed with simple epsilon-greedy methods. In this paper, we consider the challenging Atari games domain, which requires processing raw pixel inputs and delayed rewards. We evaluate several more sophisticated exploration strategies, including Thompson sampling and Boltzman exploration, and propose a new exploration method based on assigning exploration bonuses from a concurrently learned model of the system dynamics. By parameterizing our learned model with a neural network, we are able to develop a scalable and efficient approach to exploration bonuses that can be applied to tasks with complex, high-dimensional state spaces. In the Atari domain, our method provides the most consistent improvement across a range of games that pose a major challenge for prior methods. In addition to raw game-scores, we also develop an AUC-100 metric for the Atari Learning domain to evaluate the impact of exploration on this benchmark.

연구 동기 및 목표

• 기존 방법이 실패하는 고차원이고 복잡한 환경, 예를 들어 아케이드 게임에서 효율적인 탐색의 과제를 해결한다.
• 상태-행동 공간이 수열 수 있는 것을 요구하는 베이지안 및 PAC-MDP 접근법의 한계를 극복한다. 이러한 접근법은 고차원 환경에서는 실현 가능하지 않다.
• 딥 네트워크를 활용해 예측 오차에서 상태의 신선함을 추정함으로써 확장 가능한 모델 기반 탐색 전략을 개발한다.
• 학습된 모델의 불확실성에 기반한 동적 보너스를 통해 샘플 효율성과 학습 속도를 향상시켜 딥 강화학습의 성능을 향상시킨다.
• 다양한 아케이드 게임에서 일관된 성능 향상을 보이며, 특히 인간 플레이어가 이전 강화학습 방법보다 뛰어난 성능을 내는 환경에서 성과를 입증한다.

제안 방법

• 현재 관측값과 행동에서 다음 상태를 예측하기 위해 딥 네트워크를 훈련하여 저차원 상태 표현을 학습한다.
• 예측 오차(실제 다음 상태와 예측된 다음 상태의 차이)를 상태의 신선함을 측정하는 지표로 사용하여 탐색 보너스를 생성한다.
• 정책 학습 중 보상 신호에 탐색 보너스를 통합하여 예측 불확실성이 높은 상태로의 방문을 장려한다.
• 역동성 모델과 정책을 동시에 훈련함으로써 새로운 환경 구조에 실시간으로 적응할 수 있도록 한다.
• 원시 픽셀 입력에서 의미 있는 저차원 표현을 추출하기 위해 오토인코더를 사용한다.
• 경험 재생과 탐색 보너스를 포함한 딥 Q-네트워크(DQN) 훈련을 사용하여 온라인 강화학습 설정에서 방법을 적용한다.

실험 결과

연구 질문

• RQ1 학습된 예측 모델이 고차원 상태 공간에서 수열 기반 탐색 보너스를 효과적으로 대체할 수 있는가?
• RQ2 예측 오차 기반 모델 기반 탐색이 에프실론-그리디 및 볼츠만 탐색과 같은 히우리스틱 방법과 비교해 학습 속도와 최종 성능에서 어떻게 성과를 내는가?
• RQ3 모델 기반 탐색이 희박한 보상과 복잡한 역학을 가진 도전적인 아케이드 게임에서 샘플 효율성과 성능 향상에 얼마나 기여하는가?
• RQ4 딥 네트워크를 사용한 역동성 모델링이 원시 픽셀 입력을 가진 환경에서 확장 가능하고 효과적인 탐색을 가능하게 하는가?
• RQ5 인간 플레이어가 이전 강화학습 에이전트보다 뚜렷하게 뛰어난 성능을 내는 게임에서 제안된 방법의 성능은 어떠한가?

주요 결과

• 제안된 모델 기반 탐색 방법은 14개 아케이드 게임 중 7개에서 가장 높은 최종 점수를 기록했으며, DQN 및 인간 전문가 점수를 초월하는 성과를 보였다.
• 몬테주마의 복수(Montezuma’s Revenge) 게임에서 이 방법은 최종 점수 4,367점을 기록하여 이전에 가장 우수한 성능을 낸 방법(1,059.6점)을 크게 앞서며 고도로 탐색적인 환경에서의 성공을 입증했다.
• 시쿼트(Seaquest) 게임에서 최종 점수 20,182점을 기록하여 인간 전문가 점수 13,455점과 DQN 기반 점수 2,106점을 모두 초월했으며, 이는 복잡하고 희박한 보상 환경에서 뛰어난 성능을 보임을 의미한다.
• AUC-100 지표는 모델 기반 탐색 방법이 에프실론-그리디 및 다른 기반 방법보다 더 빠른 학습 곡선을 기록했으며, 게임 간 일관된 향상이 있었다.
• 볼츠만 및 톰슨 샘플링은 에프실론-그리디를 개선했지만, 모델 기반 보너스 방법이 더 일관된 성과 향상을 보이며 뛰어났다.
• 정적 오토인코더 기반 접근법보다 이 방법이 뚜렷하게 뛰어났으며, 훈련 중 동적으로 오토인코더를 재학습하는 것이 사전 학습된 표현보다 더 나은 성능을 내었다.