[논문 리뷰] Is Q-learning Provably Efficient?

Chi Jin, Zeyuan Allen-Zhu외 2명|arXiv (Cornell University)|2018. 01. 01.

Advanced Bandit Algorithms Research인용 수 337

한 줄 요약

이 논문은 에피소드적 MDP에서 Q-러닝에 UCB 탐색을 적용할 경우, $ O(\sqrt{H^3 SAT}) $의 리그레트를 달성함을 증명하며, 정보 이론적 하한선에 $ \sqrt{H} $ 요소를 제외하고 최적의 리그레트를 달성함을 보여주며, 시뮬레이터가 없는 고전적인 모델-프리 강화학습 알고리즘에 대해 샘플 효율성의 증명된 결과를 처음으로 확립함. 이 결과는 표본 공간 설정에서 Q-러닝의 이론적 샘플 효율성을 확인함.

ABSTRACT

Model-free reinforcement learning (RL) algorithms directly parameterize and update value functions or policies, bypassing the modeling of the environment. They are typically simpler, more flexible to use, and thus more prevalent in modern deep RL than model-based approaches. However, empirical work has suggested that they require large numbers of samples to learn. The theoretical question of whether not model-free algorithms are in fact \emph{sample efficient} is one of the most fundamental questions in RL. The problem is unsolved even in the basic scenario with finitely many states and actions. We prove that, in an episodic MDP setting, Q-learning with UCB exploration achieves regret $ lO(\sqrt{H^3 SAT})$ where $S$ and $A$ are the numbers of states and actions, $H$ is the number of steps per episode, and $T$ is the total number of steps. Our regret matches the optimal regret up to a single $\sqrt{H}$ factor. Thus we establish the sample efficiency of a classical model-free approach. Moreover, to the best of our knowledge, this is the first model-free analysis to establish $\sqrt{T}$ regret \emph{without} requiring access to a ``simulator.''

연구 동기 및 목표

• 모델-프리 강화학습 알고리즘 중 Q-러닝이 증명된 샘플 효율성을 갖는지 여부라는 근본적인 열린 질문을 해결하기 위해.
• 유한한 상태와 행동을 가진 에피소드적 MDP에서 Q-러닝에 UCB 탐색을 적용한 경우의 리그레트를 분석하기 위해.
• 시뮬레이터에 의존하지 않고도 고전적인 모델-프리 알고리즘에 대한 샘플 효율성의 이론적 경계를 확립하기 위해.
• 표본 공간 설정에서 Q-러닝의 경험적 성능과 이론적 이해 간 격차를 해소하기 위해.

제안 방법

• 에피소드적 MDP에서 탐색과 이용을 균형 있게 하기 위해 Q-러닝에 상한 신뢰도(Upper Confidence Bound, UCB) 탐색을 적용함.
• H단계의 에피소드가 존재하고 총 T단계, S개의 상태, A개의 행동을 가진 환경에서 리그레트를 분석함.
• 집중 불등식과 마틴게일 추론을 적용하여 추정 오차와 리그레트를 경계함.
• 고확률 리그레트 경계 $ O(\sqrt{H^3 SAT}) $ 를 확립하며, 이는 정보 이론적 하한선에 $ \sqrt{H} $ 요소를 제외하고 일치함.
• 시뮬레이터에 의존하지 않고, 환경과의 온라인 상호작용만을 기반으로 경계를 유도함.
• 에피소드 간 Q-값 추정의 불확실성을 추적하는 새로운 분석 프레임워크를 도입함.

실험 결과

연구 질문

• RQ1 Q-러닝에 UCB 탐색을 적용할 경우, 표본 공간의 에피소드적 MDP에서 증명된 낮은 리그레트를 달성할 수 있는가?
• RQ2 시뮬레이터 접근 없이도 모델-프리 Q-러닝이 샘플 효율적인가?
• RQ3 Q-러닝의 리그레트는 정보 이론적 하한선에 얼마나 가까운가?
• RQ4 표본 공간 설정에서 Q-러닝의 분석은 보조 가정 없이 $ \sqrt{T} $-의존 리그레트를 도출할 수 있는가?

주요 결과

• Q-러닝에 UCB 탐색을 적용할 경우, $ O(\sqrt{H^3 SAT}) $ 의 리그레트를 달성하며, 이는 $ \sqrt{H} $ 요소를 제외하고 최적의 리그레트 경계와 일치함.
• 리그레트 경계는 시뮬레이터 접근이 필요로 하지 않아, 실제 온라인 학습 환경에 적용 가능한 결과임.
• 이 연구는 시뮬레이터 접근 없이도 표본 공간 MDP에서 $ \sqrt{T} $-의존 리그레트를 증명한 최초의 모델-프리 분석임.
• 이 결과는 Q-러닝이 표본 공간의 에피소드적 MDP 설정에서 증명된 샘플 효율성을 갖는다는 것을 확인함.
• 이 분석은 딥 강화학습에서 Q-러닝의 경험적 성공에 대한 이론적 기반을 제공함. 비록 샘플 효율성에 대한 우려가 있더라도.