[논문 리뷰] Tightening the Dependence on Horizon in the Sample Complexity of Q-Learning

Gen Li, Changxiao Cai외 4명|arXiv (Cornell University)|2021. 02. 12.

Reinforcement Learning in Robotics참고 문헌 40인용 수 8

한 줄 요약

이 논문은 무한할행 MDPs에서 동기식 Q-학습의 샘플 복잡도를 $\mathcal{O}\left(\frac{|\mathcal{S}||\mathcal{A}|}{(1-\gamma)^5\varepsilon^2}\right)$ 에서 $\mathcal{O}\left(\frac{|\mathcal{S}||\mathcal{A}|}{(1-\gamma)^4\varepsilon^2}\right)$ 로 향상시켰으며, 기존의 $\frac{1}{1-\gamma}$ 의 의존도를 순서적으로 감소시켰다. 이는 새로운 오차 분해와 재귀 분석을 통해 이루어졌고, 추가 계산 또는 저장소가 필요로 하지 않는다.

ABSTRACT

Q-learning, which seeks to learn the optimal Q-function of a Markov decision process (MDP) in a model-free fashion, lies at the heart of reinforcement learning. When it comes to the synchronous setting (such that independent samples for all state-action pairs are drawn from a generative model in each iteration), substantial progress has been made recently towards understanding the sample efficiency of Q-learning. To yield an entrywise $\varepsilon$-accurate estimate of the optimal Q-function, state-of-the-art theory requires at least an order of $\frac{|\mathcal{S}||\mathcal{A}|}{(1-\gamma)^5\varepsilon^{2}}$ samples for a $\gamma$-discounted infinite-horizon MDP with state space $\mathcal{S}$ and action space $\mathcal{A}$. In this work, we sharpen the sample complexity of synchronous Q-learning to an order of $\frac{|\mathcal{S}||\mathcal{A}|}{(1-\gamma)^4\varepsilon^2}$ (up to some logarithmic factor) for any $0<\varepsilon <1$, leading to an order-wise improvement in terms of the effective horizon $\frac{1}{1-\gamma}$. Analogous results are derived for finite-horizon MDPs as well. Our finding unveils the effectiveness of vanilla Q-learning, which matches that of speedy Q-learning without requiring extra computation and storage. A key ingredient of our analysis lies in the establishment of novel error decompositions and recursions, which might shed light on how to analyze finite-sample performance of other Q-learning variants.

연구 동기 및 목표

• 무한할행 MDPs에서 동기식 Q-학습의 샘플 복잡도를 효과적 수명 $\frac{1}{1-\gamma}$ 에 대한 의존도를 개선함으로써 감소시키는 것.
• 표준 Q-학습과 빠른 변형인 빠른 Q-학습 간의 샘플 효율성 격차를 계산 또는 저장소 오버헤드를 증가시키지 않고 해소하는 것.
• 새로운 분석 도구를 도입하여 Q-학습의 유한 샘플 성능에 대한 더 날카운 이론적 경계를 수립하는 것.
• 개선된 샘플 복잡도 경계를 유한할행 MDPs에도 확장하는 것.

제안 방법

• Q-학습 업데이트에서 근사 오차와 추정 오차를 분리하는 데 사용되는 새로운 오차 분해 기법 개발.
• 반복 간 오차 전파에 대한 새로운 재귀 관계 유도로 수렴 속도를 더 엄밀히 제어할 수 있도록 하는 것.
• 모든 상태-행동 쌍이 각 반복에서 동시에 샘플링되는 일반화 모델 가정 하에 동기식 Q-학습 알고리즘 분석.
• Q-값 추정치가 기대값에서 벗어나지 않도록 제약하는 데 사용되는 농도 불등식과 마틴게일 추론.
• 새로운 오차 프레임워크 하에서 벨먼 연산자의 수축 성질을 정교하게 분석하는 것.
• 유한할행 MDPs에 대한 분석을 위해 오차 분해를 유한할행 구조에 맞게 적응시키는 것.

실험 결과

연구 질문

• RQ1 효과적 수명 $\frac{1}{1-\gamma}$ 에 대한 의존도를 줄임으로써 동기식 Q-학습의 샘플 복잡도를 향상시킬 수 있는가?
• RQ2 추가 계산 또는 저장소 비용 없이 빠른 Q-학습의 샘플 효율성과 동일한 성능를 달성할 수 있는가?
• RQ3 기존 경계를 초월하여 Q-학습의 유한 샘플 분석을 강화하기 위해 어떤 새로운 분석 도구가 필요한가?
• RQ4 개선된 오차 분해는 유한할행 및 무한할행 MDPs 양쪽에서 수렴 속도에 어떻게 영향을 미치는가?

주요 결과

• 무한할행 MDPs에 대해 동기식 Q-학습의 샘플 복잡도가 $\mathcal{O}\left(\frac{|\mathcal{S}||\mathcal{A}|}{(1-\gamma)^5\varepsilon^2}\right)$ 에서 $\mathcal{O}\left(\frac{|\mathcal{S}||\mathcal{A}|}{(1-\gamma)^4\varepsilon^2}\right)$ 로 향상되었으며, 로그 요소를 제외한 범위에서 이루어졌다.
• 이 개선은 효과적 수명 $\frac{1}{1-\gamma}$ 에 대한 의존도를 순서적으로 감소시켜 샘플 복잡도의 주요 제약 요소를 해소한다.
• 제안된 분석은 추가 계산 또는 저장소가 필요 없이 빠른 Q-학습과 유사한 성능를 달성한다.
• 새로운 오차 분해 및 재귀 프레임워크는 오차 전파를 더 엄밀히 제어할 수 있게 하여 개선된 경계의 핵심 요소가 된다.
• 유사한 개선을 유한할행 MDPs에도 적용할 수 있는 동일한 이론적 프레임워크가 성공적으로 확장되었다.