[논문 리뷰] Model-Free Reinforcement Learning: from Clipped Pseudo-Regret to Sample Complexity

Zihan Zhang, Yuan Zhou외 1명|arXiv (Cornell University)|2020. 06. 06.

Reinforcement Learning in Robotics참고 문헌 24인용 수 13

한 줄 요약

이 논문은 할인 표본 MDP에서 ϵ-최적 정책을 학습하기 위한 모델-프리 강화학습 알고리즘인 UCB-MultiStage-Advantage를 제안한다. 이 알고리즘은 상한 신뢰도 탐색과 다중단계가치 추정을 활용하여, 정보이론적 하한선에 로그 인자만을 제외하고 일치하는 Õ(SA ln(1/p)/(ϵ²(1−γ)³))의 샘플 복잡도를 달성하며, S와 ϵ에 대한 의존성에서 이전의 모든 모델-프리 및 모델-베이스 방법보다 뛰어나다.

ABSTRACT

In this paper we consider the problem of learning an $ε$-optimal policy for a discounted Markov Decision Process (MDP). Given an MDP with $S$ states, $A$ actions, the discount factor $γ\in (0,1)$, and an approximation threshold $ε> 0$, we provide a model-free algorithm to learn an $ε$-optimal policy with sample complexity $ ilde{O}(\frac{SA\ln(1/p)}{ε^2(1-γ)^{5.5}})$ (where the notation $ ilde{O}(\cdot)$ hides poly-logarithmic factors of $S,A,1/(1-γ)$, and $1/ε$) and success probability $(1-p)$. For small enough $ε$, we show an improved algorithm with sample complexity $ ilde{O}(\frac{SA\ln(1/p)}{ε^2(1-γ)^{3}})$. While the first bound improves upon all known model-free algorithms and model-based ones with tight dependence on $S$, our second algorithm beats all known sample complexity bounds and matches the information theoretic lower bound up to logarithmic factors.

연구 동기 및 목표

• ϵ-최적 정책 학습에 있어서 모델-프리와 모델-베이스 강화학습 간의 샘플 복잡도 격차를 해소하기 위해.
• S, A, ϵ, (1−γ)에 대해 최적의 의존성을 확보하면서, O(SA)의 부분선형 공간 복잡도와 단계당 일정한 시간 복잡도(O(1))를 갖는 모델-프리 알고리즘을 설계하기 위해.
• 할인 MDP에서 샘플 복잡도에 대한 정보이론적 하한선을 로그 인자만을 제외하고 일치시키기 위해.
• 기존의 모델-프리 알고리즘들이 ϵ과 (1−γ)에 대해 열악한 의존성을 보이는 문제를 개선하기 위해, 예를 들어 이전 연구에서 Õ(SA/ϵ⁴(1−γ)⁸)의 형태를 취하는 것과 같은 문제를 해결하기 위해.

제안 방법

• 상한 신뢰도를 사용하여 탐색과 이용의 균형을 이루는 모델-프리 알고리즘인 UCB-MultiStage-Advantage를 제안한다.
• 고확률적으로 정밀한 Q-값 추정을 위해 다중단계 가치 추정 프레임워크를 적용한다.
• 값 추정의 누적 편차를 최적 값으로부터 제한하기 위해 클리핑된 가짜 손실 분석을 도입한다.
• 편향과 분산을 제어하기 위해 추정 오차를 다섯 개의 구성요소(M₁부터 M₄까지)로 분해하는 새로운 방법을 제시한다.
• 큰 추정 오차의 영향을 제한하기 위해 클리핑 메커니즘을 적용하여 안정적인 수렴을 보장한다.
• 상태-행동 방문 수와 신뢰구간을 활용한 계층적 탐색 전략을 통해 학습을 이끈다.

실험 결과

연구 질문

• RQ1 할인 MDP에서 ϵ-최적 정책을 학습하기 위한 모델-프리 알고리즘이 정보이론적 하한선에 일치하는 샘플 복잡도를 달성할 수 있는가?
• RQ2 모델-프리 강화학습에서 샘플 복잡도의 최적 의존성은 S, A, ϵ, (1−γ)에 대해 어떻게 되는가?
• RQ3 O(SA)의 공간 복잡도와 단계당 O(1)의 시간 복잡도를 갖는 모델-프리 알고리즘이 근사적으로 최적의 샘플 복잡도를 달성할 수 있는가?
• RQ4 클리핑된 가짜 손실 분석은 모델-프리 Q-학습 변종의 수렴 속도를 제한하는 데 어떻게 기여하는가?
• RQ5 탐색 및 가치 추정 전략을 개선함으로써 기존의 모델-프리 알고리즘에 어떤 개선을 가질 수 있는가?

주요 결과

• 제안된 UCB-MultiStage-Advantage 알고리즘은 고확률(1−p)로 Õ(SA ln(1/p)/(ϵ²(1−γ)³))의 샘플 복잡도를 달성하며, 정보이론적 하한선에 로그 인자만을 제외하고 일치한다.
• 작은 ϵ에 대해서는 알고리즘의 샘플 복잡도가 Õ(SA ln(1/p)/(ϵ²(1−γ)³)로, S와 ϵ에 대한 의존성에서 기존의 모든 알려진 모델-프리 및 모델-베이스 알고리즘을 초월한다.
• 알고리즘은 O(SA)의 공간 복잡도와 단계당 O(1)의 시간 복잡도를 유지하여 대규모 MDP에 적합하다.
• 분석 결과, 클리핑된 가짜 손실은 추정 오차를 제한하고 ϵ-최적 정책 수렴을 보장하는 데 핵심적인 도구임을 보여준다.
• 기존의 모델-프리 알고리즘들, 예를 들어 지연 Q-학습(Õ(SA/ϵ⁴(1−γ)⁸))과 향상된 Q-학습 변종(Õ(SA/ϵ²(1−γ)⁷))보다 성능이 뛰어나다.
• 이론적 프레임워크는 모델-프리 알고리즘이 점차적으로 최적의 샘플 복잡도를 달성할 수 있음을 입증하며, RL 이론 분야에서 오랫동안 남아있던 열린 문제를 해결한다.