[논문 리뷰] Finite-Time Analysis for Double Q-learning

Huaqing Xiong, Lin Zhao외 2명|arXiv (Cornell University)|2020. 09. 29.

Reinforcement Learning in Robotics참고 문헌 33인용 수 16

한 줄 요약

이 논문은 이중 Q-학습의 최초의 유한시간 분석을 제시하며, 동기 및 이방형 버전에 대한 수렴 속도를 확립한다. 이는 이중 Q-학습이 $\tilde{\mathcal{O}}\bigl((1/(1-\gamma)^6\epsilon^2)^{1/\omega} + (1/(1-\gamma))^{1/(1-\omega)}\bigr)$ 반복을 거쳐 $\epsilon$-정확한 해에 도달함을 보여주며, 높은 정밀도 영역에서 더 날카운 경계를 제공한다. 이는 과대평가를 줄이기 위해 느린 진행을 감수하는 설계 원리가 타당함을 검증한다.

ABSTRACT

Although Q-learning is one of the most successful algorithms for finding the best action-value function (and thus the optimal policy) in reinforcement learning, its implementation often suffers from large overestimation of Q-function values incurred by random sampling. The double Q-learning algorithm proposed in~\citet{hasselt2010double} overcomes such an overestimation issue by randomly switching the update between two Q-estimators, and has thus gained significant popularity in practice. However, the theoretical understanding of double Q-learning is rather limited. So far only the asymptotic convergence has been established, which does not characterize how fast the algorithm converges. In this paper, we provide the first non-asymptotic (i.e., finite-time) analysis for double Q-learning. We show that both synchronous and asynchronous double Q-learning are guaranteed to converge to an $ε$-accurate neighborhood of the global optimum by taking $ ildeΩ\left(\left( \frac{1}{(1-γ)^6ε^2} ight)^{\frac{1}ω} +\left(\frac{1}{1-γ} ight)^{\frac{1}{1-ω}} ight)$ iterations, where $ω\in(0,1)$ is the decay parameter of the learning rate, and $γ$ is the discount factor. Our analysis develops novel techniques to derive finite-time bounds on the difference between two inter-connected stochastic processes, which is new to the literature of stochastic approximation.

연구 동기 및 목표

• 이중 Q-학습은 강력한 실험적 성공에도 불구하고 비현상적 이론적 분석의 부재로 인해 실무에서 널리 사용되고 있음. 이를 해결하고자 함.
• 이중 Q-학습의 유한시간 수렴 속도를 규명하여, 최적의 Q-함수에 얼마나 빠르게 수렴하는지 분석하고자 함.
• 이중 Q-학습에서 발생하는 두 상호연결된 확률적 과정 간의 결합을 다루기 위한 새로운 분석 기법을 개발하고자 함.
• 이중 Q-학습과 일반 Q-학습 간의 수렴 행동을 $\epsilon$, $\gamma$, 및 $1-\gamma$에 대한 의존성 측면에서 비교하고자 함.
• 유한시간 경계를 통해 이중 Q-학습의 설계 원리—과대평가를 줄이기 위해 속도를 희생하는 정확도 우선 설계—를 검증하고자 함.

제안 방법

• 학습률 $\alpha_t = 1/t^\omega$ ($\omega \in (0,1)$)를 사용한 이중 Q-학습에 대한 유한시간 분석 프레임워크를 제안함.
• 마팅게일 차분 수열과 농도 불등식을 활용해 동기 및 이방형 구현을 분석함.
• 두 Q-추정기에서 유래하는 상호연결된 두 확률적 과정 간의 차이를 제한하기 위한 새로운 기법을 개발함.
• 이방형 환경에서의 수렴 시간과 연결하기 위해 탐색을 특징짓는 커버링 수 $L$을 사용함.
• 지수 尾 꼬리 경계와 유니온 경계를 적용해 확률적으로 높은 수준의 수렴 보장을 $1-\delta$ 신뢰도로 도출함.
• 학습률 감쇠 및 탐색 파rameter 조절을 통해 편향과 분산 항을 균형 잡는 방식으로 반복 복잡도 경계를 유도함.

실험 결과

연구 질문

• RQ1 동기 이중 Q-학습의 유한시간 수렴 속도는 $\epsilon$, $\gamma$, 및 $\delta$에 대해 어떻게 표현되는가?
• RQ2 이방형 이중 Q-학습의 수렴 속도는 커버링 수 $L$과 할인 인자 $\gamma$에 어떻게 의존하는가?
• RQ3 높은 정밀도 및 낮은 정밀도 영역에서 이중 Q-학습의 수렴 속도는 일반 Q-학습과 어떻게 비교되는가?
• RQ4 유한시간 분석을 통해 과대평가 감소와 수렴 속도 사이의 트레이드오프는 어떻게 수식화되는가?
• RQ5 이중 Q-학습에서 발생하는 두 상호연결된 확률적 과정 간의 결합은 새로운 확률적 근사 기법을 통해 유한한 경계를 가질 수 있는가?

주요 결과

• 동기 이중 Q-학습은 확률적 최소 $1-\delta$로 $\epsilon$-정확도에 도달하기 위해 $\Omega\left(\left(\frac{1}{(1-\gamma)^6\epsilon^2}\ln\frac{|\mathcal{S}||\mathcal{A}|}{(1-\gamma)^7\epsilon^2\delta}\right)^{1/\omega} + \left(\frac{1}{1-\gamma}\ln\frac{1}{(1-\gamma)^2\epsilon}\right)^{1/(1-\omega)}\right)$ 번의 반복을 필요로 한다.
• 이방형 이중 Q-학습은 $\Omega\left(\left(\frac{L^4}{(1-\gamma)^6\epsilon^2}\ln\frac{|\mathcal{S}||\mathcal{A}|L^4}{(1-\gamma)^7\epsilon^2\delta}\right)^{1/\omega} + \left(\frac{L^2}{1-\gamma}\ln\frac{1}{(1-\gamma)^2\epsilon}\right)^{1/(1-\omega)}\right)$ 번의 반복을 필요로 하며, 여기서 $L$은 커버링 수이다.
• 높은 정밀도 영역에서 이중 Q-학습은 $\epsilon$에 대해 일반 Q-학습과 동일한 주요 수렴 속도의 주기를 가지며, 이는 정확도 중심 설계가 느린 진행을 초월해 지배적임을 시사한다.
• 낮은 정밀도 영역에서는 경고적인 업데이트 메커니즘이 원인으로 수렴 속도가 일반 Q-학습보다 略로 느리지만, 이는 과대평가를 줄이는 목표와 일치한다.
• 이중 Q-학습에서 발생하는 두 상호연결된 확률적 과정 간의 차이를 제한하기 위한 새로운 기법을 도입하였으며, 이는 강화학습의 확률적 근사 맥락에서 신규한 기여이다.
• 유도된 경계들은 이중 Q-학습의 설계—두 Q-추정기 사이를 번갈아 사용해 과대평가를 줄이는 것—이 정밀도가 높은 설정에서 특히 정확도 향상에 기여함을 확인한다.