[논문 리뷰] Finite-Time Analysis of Asynchronous Stochastic Approximation and $Q$-Learning

Guannan Qu, Adam Wierman|arXiv (Cornell University)|2020. 02. 01.

Stochastic Gradient Optimization Techniques참고 문헌 27인용 수 24

한 줄 요약

이 논문은 가중 무한노름 수축 연산자를 갖는 이방형 확률적 근사(Stochastic Approximation, SA)에 대한 유한시간 수렴 분석을 제시하며, 수렴 속도로 O(1/((1−γ)^1.5√T))를 확립한다. 이 결과는 이방형 Q-학습에 적용되어, 기존 이방형 분석에서 관찰된 1/(1−γ)의 지수적 팽창을 제거하기 위해 재스케일링된 선형 단계 크기(αk = h/(k + t0))를 사용함으로써, 동기 Q-학습에서 알려진 가장 날카로운 경계와 일치하는 날카운 ˜O(1/((1−γ)^5ε²))의 수렴 시간을 도출한다.

ABSTRACT

We consider a general asynchronous Stochastic Approximation (SA) scheme featuring a weighted infinity-norm contractive operator, and prove a bound on its finite-time convergence rate on a single trajectory. Additionally, we specialize the result to asynchronous $Q$-learning. The resulting bound matches the sharpest available bound for synchronous $Q$-learning, and improves over previous known bounds for asynchronous $Q$-learning.

연구 동기 및 목표

• 실제 강화학습 응용에 핵심적인 이방형 Q-학습에 대한 유한시간 수렴 경계가 부족한 문제를 해결한다.
• Q-학습에서 사용하는 비선형적이고 무한노름 수축 연산자에 대해 적용되지 않는 기존의 ODE 기반 SA 분석의 한계를 극복한다.
• 기존의 동기 또는 에포크 기반 분석보다 더 날카로운 이방형 SA에 대한 유한시간 수렴 속도를 제공한다.
• 기존 이방형 Q-학습 분석에서 관찰된 1/(1−γ)의 지수적 팽창 현상의 명확화 및 해결을 도모한다.
• 에포크 기반 방법에 비해 스트레스 노이즈의 영향을 더 잘 분리할 수 있는 새로운 재귀적 오차 분해 기법을 개발한다.

제안 방법

• 논문은 노이즈와 편향에 의해 유도되는 오차 성분으로 나누어져 있는 근사 오차를 분리하는 재귀적 오차 분해 프레임워크를 도입하여, 스트레스 변동의 더 엄밀한 제어를 가능하게 한다.
• 오차를 재귀적으로 분해하고 재스케일링된 선형 단계 크기 αk = h/(k + t0)를 사용함으로써, 이전 연구에서 관찰된 1/(1−γ)에 대한 지수적 의존성을 피한다.
• 핵심 기술 도구로는 이방형 업데이트에서 비마르코프성인 노이즈 항을 다루기 위해 아즈마-후이프닝 부등식의 새로운 응용이 포함된다.
• 오차 전파의 시간에 따른 감쇠를 제어하기 위해 ∏(1−αℓdℓ,i) 형태의 곱의 바OUNDS를 분석에 활용한다.
• 새로운 보조정리(보조정리 14)는 노이즈 항의 무작위 곱을 결정론적 양으로 상한화하여 농도 부등식의 적용을 가능하게 한다.
• 시간 단계에 대한 수학적 귀납법을 사용하여, 수축 연산자, 노이즈, 편향 항의 경계를 조합함으로써 최종 수렴 속도를 유도한다.

실험 결과

연구 질문

• RQ1 가중 무한노름 수축 연산자를 갖는 이방형 확률적 근사에 대한 유한시간 수렴 속도는 무엇인가?
• RQ2 ε, 1/(1−γ), 상태-행동 공간 크기의 의존성 측면에서 이방형 Q-학습의 수렴 속도는 동기 Q-학습과 어떻게 비교되는가?
• RQ3 기존 이방형 Q-학습 분석에서 관찰된 1/(1−γ)의 지수적 팽창 현상은 회피할 수 있으며, 만약 가능하면 어떤 조건에서 이루어지는가?
• RQ4 비동기성은 Q-학습의 수렴에 어떤 영향을 미치며, 이를 유한시간 내에 어떻게 모델링하고 경계화할 수 있는가?
• RQ5 재귀적 오차 분해 접근법은 이방형 환경에서 에포크 기반 분석보다 더 날카로운 경계를 도출할 수 있는가?

주요 결과

• 이 논문은 가중 무한노름 수축 연산자를 갖는 이방형 SA에 대해 O(1/((1−γ)^1.5√T))의 유한시간 수렴 속도를 확립한다.
• 이방형 Q-학습의 경우, 수렴 시간은 ˜O(1/((1−γ)^5ε²))로, 동기 Q-학습에 대해 알려진 가장 날카로운 경계와 일치한다.
• 재스케일링된 선형 단계 크기 αk = h/(k + t0)를 통해 1/(1−γ)의 오차 경계에서 지수적 성장이 방지됨을 보여, 1/(1−γ) 팽창 문제를 해결한다.
• 제안된 재귀적 오차 분해 기법은 스트레스 노이즈의 영향을 더 잘 분리함으로써, 에포크 기반 방법에 비해 더 날카로운 경계를 도출한다.
• 이전의 이방형 Q-학습 경계에서 지수적 1/(1−γ) 의존성을 제거하고, ε 및 상태 공간 의존성의 강도를 강화함으로써 기존 결과를 향상시킨다.
• 제시된 가정 하에 경계 내의 수치 상수들이 날카로우며, 수축 계수 γ와 단계 크기 스케일링의 역할을 명시적으로 제어할 수 있음이 입증되었다.