[논문 리뷰] Guarantees for Epsilon-Greedy Reinforcement Learning with Function Approximation

Christoph Dann, Yishay Mansour외 3명|arXiv (Cornell University)|2022. 06. 19.

Advanced Bandit Algorithms Research인용 수 26

한 줄 요약

논문은 에피소드 MDP에서 epsilon-greedy 정책으로 근시적 탐험을 위한 프레임워크와 이론을 도입하고, 근시적 탐험 간극(myopic exploration gap)을 정의하며, 유한 Bellman Eluder 차원 하에서 샘플 복잡도 및 regret에 대한 상한과 하한을 제공합니다.

ABSTRACT

Myopic exploration policies such as epsilon-greedy, softmax, or Gaussian noise fail to explore efficiently in some reinforcement learning tasks and yet, they perform well in many others. In fact, in practice, they are often selected as the top choices, due to their simplicity. But, for what tasks do such policies succeed? Can we give theoretical guarantees for their favorable performance? These crucial questions have been scarcely investigated, despite the prominent practical importance of these policies. This paper presents a theoretical analysis of such policies and provides the first regret and sample-complexity bounds for reinforcement learning with myopic exploration. Our results apply to value-function-based algorithms in episodic MDPs with bounded Bellman Eluder dimension. We propose a new complexity measure called myopic exploration gap, denoted by alpha, that captures a structural property of the MDP, the exploration policy and the given value function class. We show that the sample-complexity of myopic exploration scales quadratically with the inverse of this quantity, 1 / alpha^2. We further demonstrate through concrete examples that myopic exploration gap is indeed favorable in several tasks where myopic exploration succeeds, due to the corresponding dynamics and reward structure.

연구 동기 및 목표

• 가치-함수 기반 RL을 근시적 탐험으로 분석하기 위한 프레임워크를 소개한다.
• 근시적 탐험 간극을 정의하여 근시적 정책에 의해 서브 최적 함수가 얼마나 쉽게 식별되는지 포착한다.
• Bellman Eluder 차원 하에서 함수 근사를 갖는 epsilon-greedy RL의 샘플 복잡도 및 regret 경계를 도출한다.
• 근시적 탐험이 유리한 조건을 보여주고 tight함을 보이기 위한 하한을 제시한다.

제안 방법

• 근시적 탐험 정책하에 수집된 데이터를 이용하여 역귀납법으로 Q-함수를 학습하는 최소자승 회귀 기반 알고리즘(알고리즘 1)을 제안한다.
• 새로운 복잡도 척도인 근시적 탐험 간극 alpha(f, F, Pi', expl, M)과 그 반경 c(f, F, Pi', expl, M)을 정의한다.
• 간극을 F의 서브집합 F'를 배제하는 데 필요한 에피소드 수와 연결하는 구조적 분석을 통해 Bellman Eluder 차원 d와 커버링 수를 이용한다.
• alpha와 c를 용어로 하여 근시적 탐험이 있는 RL에 대한 최초의 regret 및 샘플복잡도 경계 제공.
• 일반 상한(정리 1)과 일치하는 하한을 제시하여 alpha와 차원에 대한 강한 의존성을 보인다.

실험 결과

연구 질문

• RQ1 epsilon-greedy 같은 근시적 탐험 정책이 함수 근사를 통해 샘플-효율적인 학습을 내는 시점은 언제인가?
• RQ2 근시적 탐험 간극이 근시적 정책 하에서 서브optimal 가치 함수를 식별하는 용이성을 어떻게 정량화하는가?
• RQ3 경계된 Bellman Eluder 차원을 가지는 에피소드 MDP에서 epsilon-greedy RL의 샘플 복잡도 및 regret 보장은 무엇인가?
• RQ4 MDP의 구조적 조건(동역학과 보상)하에서 근시적 탐험이 특히 효과적인가?

주요 결과

• 새로운 근시적 탐험 간극 alpha(f, F, Pi', expl, M)을 정의하여 근시적 탐색 전략이 후보 가치 함수가 서브최적임을 얼마나 쉽게 식별하는지 포착한다.
• 서브 최적 f를 가지는 에피소드 수가 O((log c(F',F)) / alpha(F',F)^2 · H^2 · d · log factors)임을 보이는 샘플 복잡도 상한을 증명한다.
• 거의 일치하는 하한 Omega(d / alpha(F',F)^2)이 정립되어 근시적 탐험 간극과 Bellman Eluder 차원에 대한 강한 의존성을 시사한다.
• 상관관계에 따른 결론은 유리한 동역학(예: 작은 곱셈적 행동 변화)이나 컨텍스트 밴딧 구조(delta_P = 1)에서 간극이 크고 학습이 더 빠르다.
• 밀도 높은 보상 구성은 탐험 정책 하의 정보성 샘플을 어떻게 변화시키느냐에 따라 근시적 탐험을 개선하거나 방해할 수 있다.
• 잠재적 기반 보상 구성은 표 형태 설정에서 간극에 영향을 주지 않는데, 이는 구성 아래 정책 반환이 동일하기 때문이다.