[논문 리뷰] Is Q-Learning Minimax Optimal? A Tight Sample Complexity Analysis

Gen Li, Changxiao Cai외 3명|arXiv (Cornell University)|2021. 02. 12.

Reinforcement Learning in Robotics참고 문헌 58인용 수 18

한 줄 요약

이 논문은 표본 복잡도 분석을 통해 동기식 설정에서 표본 MDP에 대해 Q-학습의 복잡도를 정밀하게 분석하며, |A| ≥ 2일 경우 Q-학습이 최소최대 하한보다 열등함을 증명한다. 이는 표본 복잡도가 O(|S||A|/(1−γ)^4ε²)로 스케일링되며, TD 학습(|A|=1)은 O(|S|/(1−γ)^3ε²)로 최소최대 최적성을 달성한다. 이 작업은 Q-학습의 과도한 추정이 열등성의 근본 원인임을 규명하고, 혼합 시간 제약 조건이 있는 마르코프 샘플링 체계로 모델링된 비동기 Q-학습으로 분석을 확장하며, 효과적 수렴 시간에 대해 O(1/(1−γ)^4)의 의존성을 보인다.

ABSTRACT

Q-learning, which seeks to learn the optimal Q-function of a Markov decision process (MDP) in a model-free fashion, lies at the heart of reinforcement learning. When it comes to the synchronous setting (such that independent samples for all state-action pairs are drawn from a generative model in each iteration), substantial progress has been made towards understanding the sample efficiency of Q-learning. Consider a $γ$-discounted infinite-horizon MDP with state space $\mathcal{S}$ and action space $\mathcal{A}$: to yield an entrywise $\varepsilon$-approximation of the optimal Q-function, state-of-the-art theory for Q-learning requires a sample size exceeding the order of $\frac{|\mathcal{S}||\mathcal{A}|}{(1-γ)^5\varepsilon^{2}}$, which fails to match existing minimax lower bounds. This gives rise to natural questions: what is the sharp sample complexity of Q-learning? Is Q-learning provably sub-optimal? This paper addresses these questions for the synchronous setting: (1) when $|\mathcal{A}|=1$ (so that Q-learning reduces to TD learning), we prove that the sample complexity of TD learning is minimax optimal and scales as $\frac{|\mathcal{S}|}{(1-γ)^3\varepsilon^2}$ (up to log factor); (2) when $|\mathcal{A}|\geq 2$, we settle the sample complexity of Q-learning to be on the order of $\frac{|\mathcal{S}||\mathcal{A}|}{(1-γ)^4\varepsilon^2}$ (up to log factor). Our theory unveils the strict sub-optimality of Q-learning when $|\mathcal{A}|\geq 2$, and rigorizes the negative impact of over-estimation in Q-learning. Finally, we extend our analysis to accommodate asynchronous Q-learning (i.e., the case with Markovian samples), sharpening the horizon dependency of its sample complexity to be $\frac{1}{(1-γ)^4}$.

연구 동기 및 목표

• 표본 MDP의 동기식 설정에서 Q-학습이 최소최대 최적 표본 복잡도를 달성하는지 여부라는 열린 문제를 해결하기 위해.
• Q-학습의 표본 복잡도를 최소최대 하한과 비교하여 그 기본 통계적 한계를 규명하기 위해.
• 여러 행동이 존재할 경우 Q-학습에서의 과도한 추정이 열등성에 기여하는 방식을 조사하기 위해.
• 마르코프 샘플을 사용하는 비동기 Q-학습으로 분석을 확장하고, 수렴 시간 의존성의 정밀도를 높이기 위해.
• ℓ∞-노름 오차 기준 하에 동기 및 비동기 Q-학습에 대해 엄밀한 상한과 하한을 확립하기 위해.

제안 방법

• 오차 벡터 Δt에 대한 재귀 관계와 농도 불등식을 사용하여 동기 Q-학습에 대해 엄밀한 상한을 유도한다.
• 최대 연산자와의 분리 및 Q-학습에서의 과도한 추정 효과 제어를 위해 보조 수열 Q̂k(a)와 Q̄k를 도입한다.
• 상한과 로그 요인을 제외하고 일치하는 최소최대 하한을 도출하기 위해 두 개의 행동과 하나의 상태를 가진 딱딱한 인스턴스를 구성한다.
• 프리드먼 부등식과 베르누이 타입 농도 불등식을 적용하여 경험적 전이 확률의 편차를 제어한다.
• 혼합 시간 제약 조건이 있는 마르코프 샘플링 체계로 프로세스를 모델링하여 비동기 Q-학습에 분석을 적응시킨다.
• 반복적 오차 전파와 재귀적 분해를 사용하여 Q-학습 추정치의 기대 ℓ∞-오차를 근사한다.

Figure 1: The constructed hard MDP instance used in the analysis of Theorem 3 , where $p=\frac{4\gamma-1}{3\gamma}$ and the specifications are described in ( 46 ).

실험 결과

연구 질문

• RQ1 |A| ≥ 2인 표본 MDP에 대해 Q-학습이 표본 복잡도 측면에서 최소최대 최적일까?
• RQ2 동기 설정에서 Q-학습의 표본 복잡도가 효과적 수렴 시간 1/(1−γ)에 대해 정확히 어떻게 의존하는가?
• RQ3 Q-학습에서의 과도한 추정은 다수의 행동이 존재할 경우 TD 학습과 비교해 어떻게 열등성을 초래하는가?
• RQ4 비동기 Q-학습의 표본 복잡도는 특히 (1−γ)−1 의존성 측면에서 더욱 정밀화될 수 있는가?
• RQ5 Q-학습의 최소최대 하한은 무엇이며, 상한과 로그 요인을 제외하고 일치하는가?

주요 결과

• |A| = 1일 경우(TD 학습), 표본 복잡도는 최소최대 최적이며 O(|S|/(1−γ)^3ε²)로 스케일링되며, 로그 요인을 제외하고 최소최대 하한과 일치한다.
• |A| ≥ 2일 경우, Q-학습의 표본 복잡도는 O(|S||A|/(1−γ)^4ε²)이며, 최소최대 하한 O(|S||A|/(1−γ)^3ε²)에 비해 엄격히 열등하다.
• Q-학습의 열등성은 반복 과정에서 누적되는 오차를 유발하는 Q-값 업데이트의 과도한 추정에 의해 엄밀히 기인한다.
• 분석을 통해 Q-학습의 효과적 수렴 시간 의존성은 O(1/(1−γ)^4)임을 규명하였으며, 이는 모델 기반 방법이 달성할 수 있는 최적의 O(1/(1−γ)^3)보다 열 劣하다.
• 마르코프 샘플을 사용하는 비동기 Q-학습의 경우, 표본 복잡도는 효과적 수렴 시간에 대해 O(1/(1−γ)^4)로 스케일링되며, 로그 요인을 제외하고 동기 경우와 일치한다.
• 논문은 Q-학습의 기대 ℓ∞-오차가 Ω(1/√(μ_min(1−γ)^4T log^3 T))로 아래에서 유계임을 보이는 딱딱한 MDP 인스턴스를 구성하여 상한의 엄밀함을 증명한다.