[논문 리뷰] Deep Exploration via Bootstrapped DQN

Ian Osband, Charles Blundell외 2명|arXiv (Cornell University)|2016. 02. 15.

Reinforcement Learning in Robotics참고 문헌 39인용 수 460

한 줄 요약

부트스트랩드 DQN은 딥 Q-네트워크에 다수의 부트스트랩 헤드를 도입하여 불확실성을 정량화하고 깊고 시계열적으로 확장된 탐색을 가능하게 하며, Atari 게임에서 DQN보다 더 빠른 학습 속도와 더 나은 성능을 달성한다.

ABSTRACT

Efficient exploration in complex environments remains a major challenge for reinforcement learning. We propose bootstrapped DQN, a simple algorithm that explores in a computationally and statistically efficient manner through use of randomized value functions. Unlike dithering strategies such as epsilon-greedy exploration, bootstrapped DQN carries out temporally-extended (or deep) exploration; this can lead to exponentially faster learning. We demonstrate these benefits in complex stochastic MDPs and in the large-scale Arcade Learning Environment. Bootstrapped DQN substantially improves learning times and performance across most Atari games.

연구 동기 및 목표

• 비선형 함수 근사기를 갖춘 딥 RL에서 효율적이고 깊은 탐색을 유도한다.
• DQN 프레임워크에서 부트스트랩된 신경망 헤드를 통해 불확실성을 추정하는 확장 가능한 방법을 개발한다.
• 시간적으로 확장된 탐색을 가능하게 하면서 계산 효율성과 기존 딥 RL 방법과의 호환성을 보장한다.

제안 방법

• K개의 부트스트랩된 Q-값 헤드를 가진 공유 딥 네트워크를 사용하여 Q-값의 근사 후방분포(근사 후방)를 표현한다.
• 각 헤드를 자체 타깃 네트워크와 함께 부트스트랩된 데이터 일부 샘플에 대해 학습시키고, 에피소드 수준의 정책 선택으로 시간적으로 확장된 탐색을 가능하게 한다.
• 각 에피소드 중 균일하게 하나의 헤드 k를 선택하고 그 에피소드 동안 Q_k에 따라 최적의 행동을 수행한다.
• 헤드를 TD 타깃 y^Q_t = r_t + γ max_a Q(s_{t+1}, a; θ^−)로 업데이트하며, θ^−를 헤드별로 주기적으로 업데이트되는 타깃 네트워크로 사용한다.
• 부트스트랩 마스크를 사용하여 각 전이에서 어떤 헤드가 학습할지 결정하고 이 마스크를 재생 버퍼에 저장한다.
• 네트워크 가중치를 공유하고 고정된 단순 부트스트랩 메커니즘을 사용하여 계산 효율성을 유지한다(예: 온라인 설정에서 p = 1).

실험 결과

연구 질문

• RQ1 부트스트랩된 신경망을 가진 무작위 가치 함수가 비선형 함수 근사기에 대해 효과적인 깊은 탐색을 제공할 수 있는가?
• RQ2 대규모의 고차원 환경(예: Atari)에서 표준 DQN과 비교해 학습 속도와 누적 보상이 향상되는가?
• RQ3 깊은 RL에서 탐색의 다양성과 계산 효율성을 균형 있게 하기 위해 부트스트랩 절차를 어떻게 구현해야 하는가?
• RQ4 도전적인 탐색 문제(예: 긴 의사결정 수평선) 및 여러 게임에 걸친 깊은 탐색의 질적 및 양적 이점은 무엇인가?

주요 결과

• 부트스트랩드 DQN은 대부분의 Atari 게임에서 학습 시간을 크게 단축하고 DQN에 비해 성능을 향상시킨다.
• 평가된 게임들에서 평균적으로 인간 성능에 약 30% 더 빠르게 도달하고 학습 중 누적 보상을 개선한다.
• 공유 네트워크를 사용하고 부트스트랩 헤드 10개(K=10)를 이용하면 같은 하드웨어에서 DQN 대비 20% 미만의 벽시계 지연으로 더 빠른 학습을 달성한다.
• 기준선과 비교하여, 14개 게임 평균 AUC-20에서 더 높은 값을 달성한다(0.62 대 0.29 및 경쟁 방법은 0.37).
• 각 헤드는 다양하고 성능이 높은 정책을 발견하여 ε-탐욕과 비교해 더 풍부한 탐색을 가능케 하고 불확실성을 반영하는 앙상블 투표를 허용한다.
• 이 방법은 계산 효율적이고 병렬화 가능하며 대규모 딥 RL 응용에 적합하다.