[논문 리뷰] Sample Complexity of Asynchronous Q-Learning: Sharper Analysis and Variance Reduction

Gen Li, Yuting Wei외 3명|arXiv (Cornell University)|2020. 06. 04.

Age of Information Optimization인용 수 5

한 줄 요약

이 논문은 단일 마르코프 경로에서 비동기 Q-학습에 대한 더 날카운 분석을 제공하며, 이는 이전 작업에 비해 최소 $|\mathcal{S}||\mathcal{A}|$ 및 $t_{\text{mix}}|\mathcal{S}||\mathcal{A}|$ 만큼 향상된 샘플 복잡도 상한을 확립한다. 특히, 유효 수렴 시간 $1/(1-\gamma)$에 대한 스케일링을 향상시키는 분산 감소 변형을 도입하여, 혼합 시간과 상태-행동 점유도에 대한 표준 가정 하에 더 탴한 수렴 속도를 달성한다.

ABSTRACT

Asynchronous Q-learning aims to learn the optimal action-value function (or Q-function) of a Markov decision process (MDP), based on a single trajectory of Markovian samples induced by a behavior policy. Focusing on a $γ$-discounted MDP with state space $\mathcal{S}$ and action space $\mathcal{A}$, we demonstrate that the $\ell_{\infty}$-based sample complexity of classical asynchronous Q-learning --- namely, the number of samples needed to yield an entrywise $\varepsilon$-accurate estimate of the Q-function --- is at most on the order of $\frac{1}{μ_{\min}(1-γ)^5\varepsilon^2}+ \frac{t_{mix}}{μ_{\min}(1-γ)}$ up to some logarithmic factor, provided that a proper constant learning rate is adopted. Here, $t_{mix}$ and $μ_{\min}$ denote respectively the mixing time and the minimum state-action occupancy probability of the sample trajectory. The first term of this bound matches the sample complexity in the synchronous case with independent samples drawn from the stationary distribution of the trajectory. The second term reflects the cost taken for the empirical distribution of the Markovian trajectory to reach a steady state, which is incurred at the very beginning and becomes amortized as the algorithm runs. Encouragingly, the above bound improves upon the state-of-the-art result \cite{qu2020finite} by a factor of at least $|\mathcal{S}||\mathcal{A}|$ for all scenarios, and by a factor of at least $t_{mix}|\mathcal{S}||\mathcal{A}|$ for any sufficiently small accuracy level $\varepsilon$. Further, we demonstrate that the scaling on the effective horizon $\frac{1}{1-γ}$ can be improved by means of variance reduction.

연구 동기 및 목표

• 마르코프 샘플링 하에서 비동기 Q-학습의 샘플 복잡도 분석 간극을 메우기 위해.
• 최적 Q-함수에 대한 $\varepsilon$-정확도 추정을 위해 필요한 샘플 수에 대한 더 탄탄한 상한을 제공하기 위해.
• 분산 감소 기법을 통해 유효 수렴 시간 $1/(1-\gamma)$에 대한 의존도를 향상시키기 위해.
• 혼합 시간 $t_{\text{mix}}$와 최소 점유도 확률 $\mu_{\text{min}}$ 가 수렴에 미치는 영향을 분석하기 위해.
• 비독립 동일분포 샘플링이 아닌 마르코프 경로의 특성을 고려하면서도, 동기 Q-학습과 경쟁 가능한 상한을 확립하기 위해.

제안 방법

• 일반적인 비동기 Q-학습에 대해 $\ell_\infty$ 기반 샘플 복잡도 상한을 유도하며, 오차를 편향과 분산 성분으로 분해한다.
• 일정 학습률 하에서 Q-값 갱신 동역학에 대한 재귀적 분석을 수행하며, 마르코프 체인에 대한 농도 부등식을 활용한다.
• 커버 타임 기반 분석을 도입하여 모든 상태-행동 쌍이 충분히 방문되기까지의 시간을 상한으로 제시하며, 이를 혼합 시간 $t_{\text{mix}}$ 와 연결한다.
• 주기적인 평균화를 통해 추정 분산을 줄이는 분산 감소 Q-학습 변형을 제안한다.
• 큰 오차 영역($\|\overline{\bm{Q}} - \bm{Q}^\star\|_\infty > 1/\sqrt{1-\gamma}$)과 작은 오차 영역에 대한 이중 단계 분석을 수행한다.
• 후프딩 유형 부등식과 상태-행동 쌍에 대한 유니온 바운드를 적용하여 경험 분포 오차를 제어하며, 고확률 농도 결과를 도출한다.

실험 결과

연구 질문

• RQ1 단일 마르코프 경로에서 비동기 Q-학습에 대해 얻을 수 있는 가장 날카운 샘플 복잡도 상한은 무엇인가?
• RQ2 혼합 시간 $t_{\text{mix}}$ 와 최소 점유도 확률 $\mu_{\text{min}}$ 는 비동기 Q-학습의 수렴에 어떻게 영향을 미치는가?
• RQ3 분산 감소 기법은 비동기 Q-학습에서 유효 수렴 시간 $1/(1-\gamma)$ 에 대한 의존도를 향상시킬 수 있는가?
• RQ4 비동기 Q-학습의 샘플 복잡도는 i.i.d. 샘플을 사용하는 동기 Q-학습과 비교해 어떻게 되는가?
• RQ5 마르코프 샘플링에서 초기 버닝 인(phase)의 역할은 무엇이며, 이를 시간에 걸쳐 분산시킬 수 있는가?

주요 결과

• 기본 비동기 Q-학습의 샘플 복잡도는 $O\left(\frac{1}{\mu_{\text{min}}(1-\gamma)^5\varepsilon^2} + \frac{t_{\text{mix}}}{\mu_{\text{min}}(1-\gamma)}\right)$ 이며, 로그 요소를 제외한 상한이다.
• 첫 번째 항은 정적 분포에서 i.i.d. 샘플을 사용하는 동기 Q-학습의 샘플 복잡도와 일치한다.
• 두 번째 항은 초기 비정상성에 따른 비용을 반영하며, 경험 분포가 수렴함에 따라 시간에 걸쳐 분산된다.
• 모든 경우에서 Qu와 Wierman(2020)의 결과보다 최소 $|\mathcal{S}||\mathcal{A}|$ 만큼 향상되었고, $\varepsilon$ 가 작을 경우 $t_{\text{mix}}|\mathcal{S}||\mathcal{A}|$ 만큼의 향상이 이루어진다.
• 분산 감소 기법은 $1/(1-\gamma)$ 에 대한 스케일링을 개선하여 유효 수렴 시간 의존도를 향상시킨다.
• 마르코프 체인의 경험 분포에 대한 고확률 농도 상한을 사용하여 추정 오차를 제어하며, 각 상태-행동 쌍에 대한 방문 횟수 $K_N(s,a)$ 에 명시적인 의존도를 포함한다.