[논문 리뷰] The Uncertainty Bellman Equation and Exploration

Brendan O’Donoghue, Ian Osband외 2명|arXiv (Cornell University)|2017. 09. 15.

Simulation Techniques and Applications참고 문헌 38인용 수 58

한 줄 요약

불확실성 벨만 방정식(UBE)을 도입하여 시간에 걸쳐 후방 Q값의 불확실성을 전파하여 깊은 탐색을 가능하게 한다; 학습된 불확실성 위에서 epsilon-greedy를 Thompson 샘플링으로 대체할 때 Atari에서 DQN 성능이 실험적으로 향상된다.

ABSTRACT

We consider the exploration/exploitation problem in reinforcement learning. For exploitation, it is well known that the Bellman equation connects the value at any time-step to the expected value at subsequent time-steps. In this paper we consider a similar extit{uncertainty} Bellman equation (UBE), which connects the uncertainty at any time-step to the expected uncertainties at subsequent time-steps, thereby extending the potential exploratory benefit of a policy beyond individual time-steps. We prove that the unique fixed point of the UBE yields an upper bound on the variance of the posterior distribution of the Q-values induced by any policy. This bound can be much tighter than traditional count-based bonuses that compound standard deviation rather than variance. Importantly, and unlike several existing approaches to optimism, this method scales naturally to large systems with complex generalization. Substituting our UBE-exploration strategy for $ε$-greedy improves DQN performance on 51 out of 57 games in the Atari suite.

연구 동기 및 목표

• 강화 학습에서 불확실성 전파를 통한 탐색의 동기 부여 및 형식화.
• Uncertainty Bellman Equation (UBE) 정의 및 고정점 속성 확립.
• 로컬 불확실성 추정 및 UBE를 심층 RL에 통합하기 위한 실용적 방법 제시.
• Atari에서 표준 epsilon-greedy 전략에 비해 UBE 주도 탐색의 경험적 이득 시연.

제안 방법

• Q-값의 사후 분산(UBE)에 대한 벨만 유사 방정식 도출 및 고유한 고정점이 사후 분산의 상한을 보장함을 증명.
• Var_t(hat{μ}) 및 Var_t(hat{P})를 통해 로컬 불확실성 nu를 정의하고 var_t(hat{Q})의 계산 가능한 상한 제공.
• UBE를 풀어 불확실성 u를 얻고 이를 코사인? (식(3))와 같은 Thompson 샘플링 유사한 행동 선택에 사용.
• 표(tabular), 선형, 신경망 설정에서 로컬 불확실성의 실용적 추정 방법 설명, Bayesian 선형 추정에 대한 Sherman-Morrison-Woodbury 업데이트 포함.
• 심층 RL로 확장하여 Q와 불확실성을 함께 학습하는 두 개의 헤드 네트워크와 일회성 UBE 탐색 알고리즘(알고리즘 1).
• UBE 기반 탐색과 카운트 기반 보너스, Atari 실험에서의 epsilon-greedy와의 비교.

실험 결과

연구 질문

• RQ1 UBE를 통해 Q-values의 불확실성이 시간에 걸쳐 벨만 스타일 재귀로 전파될 수 있는가?
• RQ2 UBE를 풀면 후방 Q-값 분산에 의미 있는 상한을 제공하고 탐색 효율성이 향상되는가?
• RQ3 UBE에서 영감을 받은 불확실성을 사용하는 실용적인 심층 RL 알고리즘이 표준 탐색 전략보다 복잡한 환경에서 성능을 개선하는가?
• RQ4 UBE 기반 탐색을 위한 tabular, linear, neural network 설정에서 로컬 불확실성은 어떻게 추정해야 하는가?

주요 결과

• UBE는 어떤 정책 하에서도 Q-values의 후방 분산에 대한 점별 상한을 제공하는 고유한 고정점을 갖는다.
• 카운트 기반 보너스와 비교할 때, 시간 단위로 불확실성을 전파하여 대규모 일반화 시스템에 더 효율적으로 확장될 수 있다.
• Atari 실험에서 학습된 불확실성 헤드 위에서 epsilon-greedy를 Thompson 샘플링으로 대체하면 성능이 향상되며, 32개 게임 중 57개에서 n-단계 UBE 변형이 최적이었다.
• 두 헤드 신경망을 사용해 Q값과 불확실성을 함께 학습하고 계산 부담은 거의 없으며 프레임 속도 감소 약 10% 수준.
• 이 접근은 일반 DQN 대비 눈에 띄는 이득을 제공하고 내재적 동기 방식과 비교해 경쟁력 있는 성능을 보이며 여러 게임에서 초인간 성능을 달성한다.