[논문 리뷰] Epsilon-BMC: A Bayesian Ensemble Approach to Epsilon-Greedy Exploration in Model-Free Reinforcement Learning

Michael Gimelfarb, Scott Sanner외 1명|arXiv (Cornell University)|2020. 07. 02.

Reinforcement Learning in Robotics참고 문헌 18인용 수 11

한 줄 요약

이 논문은 베타분포로 모델링된 탐색 파라미터 ε를 반환 분산에 대한 폐쇄형 베이지안 추론을 통해 적응적으로 조정하는 ε-BMC를 제안한다. ε-BMC는 ε를 베타분포로 모델링하고, 반환 분산에 대한 베이지안 추론을 통해 업데이트함으로써 단조 수렴을 달성하며, 표본화된 환경과 딥 강화학습 환경에서 고정된 감소 스케줄 및 데이터 적응형 기준보다 뛰어난 성능을 보인다.

ABSTRACT

Resolving the exploration-exploitation trade-off remains a fundamental problem in the design and implementation of reinforcement learning (RL) algorithms. In this paper, we focus on model-free RL using the epsilon-greedy exploration policy, which despite its simplicity, remains one of the most frequently used forms of exploration. However, a key limitation of this policy is the specification of $\varepsilon$. In this paper, we provide a novel Bayesian perspective of $\varepsilon$ as a measure of the uniformity of the Q-value function. We introduce a closed-form Bayesian model update based on Bayesian model combination (BMC), based on this new perspective, which allows us to adapt $\varepsilon$ using experiences from the environment in constant time with monotone convergence guarantees. We demonstrate that our proposed algorithm, $\varepsilon$- exttt{BMC}, efficiently balances exploration and exploitation on different problems, performing comparably or outperforming the best tuned fixed annealing schedules and an alternative data-dependent $\varepsilon$ adaptation scheme proposed in the literature.

연구 동기 및 목표

• ε-그리디 탐색에서의 하이퍼파rameter 민감성 문제를 해결함으로써, 성능이 ε의 선택에 크게 의존하는 문제를 다루기.
• 수동 조정이나 히우리스틱 스케줄 없이, 훈련 중에 ε를 동적으로 적응적으로 조정할 수 있는 원칙적인 데이터 기반 방법 개발.
• 반환 분산과 Q-값 불확실성에 기반한 베이지안 추론을 활용한, 이론적으로 탄탄하고 효율적인 ε 적응 알고리즘 제공.
• 표본화된 환경과 딥 강화학습 방법을 모두 활용하여 이질적인 환경(이산 및 연속 제어 작업 포함)에서의 일반화 성능 입증.
• 반환 과정에 대한 약한 조건 하에서 ε 적응 업데이트 메커니즘의 수렴 보장 제공으로 안정적인 학습 동역학 확보.

제안 방법

• 기대 SARSA를 두 모델의 베이지안 혼합으로 재정의함: 탐욕적인 Q-러닝 부트스트랩 모델과 균일한 행동 선택 모델로, ε를 Q-값의 균일도 측도로 원칙적인 해석 가능하게 만든다.
• 반환의 역분산(τ)을 감안하여 감마-노멀 공액 사전을 사용함으로써, Q-값 불확실성에 대한 폐쇄형 사후 업데이트 가능.
• ε를 베타분포로 모델링하고, 관측된 반환 통계에 기반한 베이지안 모델 조합(BMC)을 통해 사전 초모수를 업데이트.
• 모멘트 매칭 근사법을 사용해 ε에 대한 폐쇄형 업데이트 규칙 유도함으로써, 경험 전이당 일정 시간 복잡도 업데이트 가능.
• SARSA, Q-러닝, DQN과 같은 표준 모델-프리 강화학습 알고리즘에 베이지안 ε 업데이트 통합함으로써, 기존 프레임워크와의 호환성 유지.
• 반환 과정에 대한 약한 정규성 조건 하에서 ε의 사후 확률이 단조롭게 향상됨을 증명함으로써 이론적 수렴 보장.

실험 결과

연구 질문

• RQ1 완전한 베이지안 프레임워크를 사용해 ε-그리디 탐색 파라미터 ε를 원칙적으로 해석하고 적응시킬 수 있는가?
• RQ2 반환 분산에 기반한 데이터 기반 베이지안 업데이트가 고정 또는 감소 스케줄보다 더 나은 탐색-이용 균형을 이끌 수 있는가?
• RQ3 ε-BMC는 다양한 강화학습 알고리즘과 환경에서 최신의 적응형 탐색 방법(VDBE 등)과 비교해 실제로 어떻게 성능을 냈는가?
• RQ4 ε-BMC는 특히 ε의 사전 강도(α₀, β₀)에 대해 얼마나 강인한가? 히우리스틱 대안과 비교해 보다 나은가?
• RQ5 제안된 베이지안 ε 적응 방법은 재튜닝 없이도 표본화된 환경과 딥 강화학습 설정 모두에 일반화 가능한가?

주요 결과

• ε-BMC는 Cart-Pole 및 공급망 환경에서 모두 고정된 감소 스케줄(예: 기하급수적 감소, 거듭제곱 감소)을 능가하며, 더 높은 평균 반환과 더 빠른 수렴을 달성했다.
• DQN을 사용한 Cart-Pole 환경에서 ε-BMC는 500 에피소드 동안 평균 반환 15.0을 기록했으며, 최고 성능를 보인 고정 ε(0.5)와 모든 감소 스케줄을 초월했다.
• 표본화된 SARSA를 사용한 공급망 환경에서 ε-BMC는 1000 에피소드 후 평균 반환 13.0을 기록했으며, σ = 100인 VDBE와 모든 고정 ε 값보다 뚜렷이 뛰어난 성능 보였다.
• µ와 τ(반환의 평균 및 역분산)에 대한 사전 초모수에 대해 ε-BMC는 일관된 성능 보이며, 동일한 초기 설정을 사용한 실험 전반에서 강인함을 입증했다.
• ε의 사전 강도(α₀, β₀)에 대한 민감도가 낮아, 단일 효과적 파rameter로 조정 가능해 히우리스틱 다중 파rameter 스케줄에 비해 구현이 간편했다.
• ε-BMC는 ε 추정에서 단조 수렴을 보였으며, 이론적 보장에 의해 안정적인 학습 동역학을 확보했고, 노이즈가 많은 적응을 보이는 히우리스틱 방법(VDBE 등)과는 대조적으로 우수했다.