[논문 리뷰] Finite Sample Analysis of Two-Timescale Stochastic Approximation with Applications to Reinforcement Learning

Gal Dalal, Balázs Szörényi외 2명|arXiv (Cornell University)|2017. 03. 15.

Simulation Techniques and Applications참고 문헌 21인용 수 42

한 줄 요약

이 논문은 강화학습(Reinforcement Learning, RL)에서 두 시간스케일(stochastic approximation, SA) 알고리즘에 대한 최초의 유한표본 분석을 제시한다. Variation of Parameters 방법을 기반으로 한 새로운 요리법을 도입하여 락인 확률(집중도 경계)을 유도한다. 또한 지수적으로 증가하는 투영 간격을 갖는 희소 투영 계획을 제안하여 락인 확률을 수렴 속도 결과로 변환한다. 이 프레임워크는 GTD(0), GTD2, TDC에 대해 기존보다 넓은 스텝사이즈 조건(제곱합이 수렴하지 않는 스텝사이즈 포함) 하에서 최초로 유한시간 수렴 속도를 도출한다.

ABSTRACT

Two-timescale Stochastic Approximation (SA) algorithms are widely used in Reinforcement Learning (RL). Their iterates have two parts that are updated using distinct stepsizes. In this work, we develop a novel recipe for their finite sample analysis. Using this, we provide a concentration bound, which is the first such result for a two-timescale SA. The type of bound we obtain is known as `lock-in probability'. We also introduce a new projection scheme, in which the time between successive projections increases exponentially. This scheme allows one to elegantly transform a lock-in probability into a convergence rate result for projected two-timescale SA. From this latter result, we then extract key insights on stepsize selection. As an application, we finally obtain convergence rates for the projected two-timescale RL algorithms GTD(0), GTD2, and TDC.

연구 동기 및 목표

• 강화학습(Reinforcement Learning, RL)에서 두 시간스케일(stochastic approximation, SA) 알고리즘에 대한 유한표본 분석 부족 문제를 해결하기 위해.
• 기존의 ODE 기반 점근적 방법에 비해 향상된 선형 두 시간스케일 SA에 대한 새로운 분석 요리법을 개발하기 위해.
• 락인 확률 경계와 수렴 속도 결과를 변환할 수 있도록 지수적으로 증가하는 간격을 갖는 새로운 희소 투영 계획을 설계하기 위해.
• GTD(0), GTD2, TDC를 포함한 투영된 두 시간스케일 RL 알고리즘에 대해 최초로 유한시간 수렴 속도를 도출하기 위해.
• 표준 제곱합 수렴 가정을 완화하여, 일정하거나 천천히 감소하는 스텝사이즈(예: n^(-α), α가 0에 가까운 경우)를 허용하는 분석을 가능하게 하기 위해.

제안 방법

• Variation of Parameters 방법을 통해 더 강한 경계를 확보할 수 있도록 SA 반복값을 변환한다.
• 새로운 분석 요리법을 사용하여 선형 두 시간스케일 SA에 대한 집중도 경계(락인 확률)를 도출한다.
• 시간이 지남에 따라 연속적인 투영 간격이 두 배로 증가하는 희소 투영 계획을 도입한다.
• 희소 투영 계획을 활용하여 락인 확률 경계를 투영된 두 시간스케일 SA의 수렴 속도 결과로 우아하게 변환한다.
• 프레임워크를 GTD(0), GTD2, TDC에 적용하여 각 알고리즘의 가정이 명시적인 상수를 포함해 성립함을 확인한다.
• 이テ레이트가 한계 ODE 궤적에서 벗어나는 것을 제어하기 위해 Alekseev의 공식과 尾확률 경계를 활용한다.

실험 결과

연구 질문

• RQ1 기존 연구에서 이러한 결과가 없음에도 불구하고, 두 시간스케일 SA에 대한 유한표본 분석을 개발할 수 있는가?
• RQ2 새로운 변환과 Variation of Parameters 방법을 사용하여, SA 이터레이트와 한계 ODE 궤적 사이의 거리에 대한 더 강한 경계를 도출할 수 있는가?
• RQ3 락인 확률 경계를 수렴 속도 결과로 변환할 수 있도록, 새로운 투영 계획을 설계할 수 있는가?
• RQ4 제안된 도구들이 GTD(0), GTD2, TDC와 같은 투영된 두 시간스케일 RL 알고리즘에 대해 최초로 유한시간 수렴 속도를 도출하는가?
• RQ5 분석을 제곱합이 수렴하지 않는 스텝사이즈, 예를 들어 일정하거나 천천히 감소하는 스텝사이즈로 확장할 수 있는가?

주요 결과

• 논문은 두 시간스케일 SA에 대해 최초로 집중도 경계(락인 확률)를 확립하여, 이터레이트가 최적 해에 가까이 있을 확률에 대한 유한표본 확률적 보장을 제공한다.
• 제안된 희소 투영 계획은 락인 확률에서 수렴 속도로의 깔끔한 변환을 가능하게 하며, 적절한 스텝사이즈 하에서 속도가 O(max(n^(-β/2)√(ln(n/δ)), n^(β−α)))로 스케일링됨을 보여준다.
• GTD(0), GTD2, TDC에 대해, 일반적인 스텝사이즈 조건 하에서 진정한 두 시간스케일 형태로 최초로 유한시간 수렴 속도를 도출한다.
• 분석은 표준 제곱합 수렴 가정을 완화하여, 일정하거나 천천히 감소하는 스텝사이즈(예: n^(-α), α가 0에 가까운 경우)를 포함한 분석에 적용 가능하다.
• 이 방법은 선형 및 비선형 두 시간스케일 SA 모두에 효과적으로 적용됨을 입증하였으며, 변환 기법은 선형 설정을 초월해 일반화 가능할 수 있음을 시사한다.
• GTD2와 TDC의 노이즈 및 행렬 가정에 대해 명시적인 상수를 도출하여, 이 프레임워크가 이러한 RL 알고리즘에 적용 가능함을 확인한다.