[논문 리뷰] Concentration Bounds for Two Timescale Stochastic Approximation with Applications to Reinforcement Learning

Gal Dalal, Balázs Szörényi외 2명|arXiv (Cornell University)|2017. 03. 15.

Reinforcement Learning in Robotics인용 수 5

한 줄 요약

이 논문은 강화학습(RL)에서 핵심 프레임워크인 이중시간스케일 확률적 근사(SA)에 대해 처음으로 유한표본 농도 경계—구체적으로 잠금 확률(lock-in probability)—를 제시한다. 이는 잠금 확률을 수렴 속도 보장으로 전환하는 지수적 투영 방식을 도입함으로써 이루어지며, 이는 스텝사이즈 선택에 대한 새로운 통찰과 GTD(0), GTD2, TDC 알고리즘의 수렴 속도를 확립하는 데 기여한다.

ABSTRACT

Two-timescale Stochastic Approximation (SA) algorithms are widely used in Reinforcement Learning (RL). Their iterates have two parts that are updated using distinct stepsizes. In this work, we develop a novel recipe for their finite sample analysis. Using this, we provide a concentration bound, which is the first such result for a two-timescale SA. The type of bound we obtain is known as `lock-in probability'. We also introduce a new projection scheme, in which the time between successive projections increases exponentially. This scheme allows one to elegantly transform a lock-in probability into a convergence rate result for projected two-timescale SA. From this latter result, we then extract key insights on stepsize selection. As an application, we finally obtain convergence rates for the projected two-timescale RL algorithms GTD(0), GTD2, and TDC.

연구 동기 및 목표

• 이중시간스케일 확률적 근사(SA)에 대해 아직 유한표본 농도 경계가 부족한 문제를 해결하기 위해.
• 일반 조건 하에서 이중시간스케일 SA의 유한표본 분석을 위한 새로운 분석 기법을 개발하기 위해.
• 수렴 분석을 향상시키기 위해 간격이 지수적으로 증가하는 새로운 투영 기법을 도입하기 위해.
• 잠금 확률을 수렴 속도 결과로 변환함으로써, 투영된 이중시간스케일 SA의 수렴 속도를 유도하기 위해.
• 제안된 프레임워크를 적용하여 핵심 RL 알고리즘인 GTD(0), GTD2, TDC의 수렴 속도를 도출하기 위해.

제안 방법

• 이중시간스케일 SA의 유한표본 분석을 위한 새로운 분석 기법을 제안하여, 농도 경계 유도를 가능하게 한다.
• 시간 간격이 지수적으로 증가하는 지수적 투영 방식을 도입하여, 시간이 지남에 따라 투영 빈도를 감소시킨다.
• 수렴해가 존재하는 최적해의 이웃 영역 내에 반복값이 머무를 가능도를 측정하는 잠금 확률을 핵심 분석 도구로 사용한다.
• 지수적 투영 방식의 구조를 활용하여 잠금 확률을 수렴 속도 결과로 변환한다.
• 유도된 프레임워크를 적용하여, 투영된 이중시간스케일 RL 알고리즘의 분석과 수렴 속도 유도를 수행한다.
• 새로운 분석 프레임워크 내에서 표준 스토크라스틱 근사 이론 도구, 즉 마링게일 차분 수열과 리아푸노프 함수 추론 기법을 활용한다.

실험 결과

연구 질문

• RQ1 이중시간스케일 확률적 근사에 대해 첫 번째 유한표본 농도 경계는 무엇이며, 어떻게 도출할 수 있는가?
• RQ2 지수적으로 증가하는 투영 간격은 투영된 이중시간스케일 SA의 분석을 어떻게 향상시키는가?
• RQ3 투영된 이중시간스케일 SA에서 잠금 확률을 수렴 속도로 변환할 수 있는가?
• RQ4 유도된 수렴 속도 결과로부터 스텝사이즈 선택에 대한 새로운 통찰은 무엇인가?
• RQ5 제안된 프레임워크를 통해 GTD(0), GTD2, TDC에 대해 확립할 수 있는 수렴 속도는 무엇인가?

주요 결과

• 논문은 이중시간스케일 확률적 근사에 대해 처음으로 유한표본 농도 경계—구체적으로 잠금 확률—를 확립한다.
• 제안된 지수적 투영 방식은 잠금 확률에서 수렴 속도로의 깔끔한 변환을 가능하게 하여, 투영된 알고리즘 분석을 단순화한다.
• 프레임워크는 투영된 이중시간스케일 SA에 대해 새로운 수렴 속도 결과를 도출하며, 스텝사이즈 매개변수에 명시적인 의존성을 포함한다.
• 분석은 이중시간스케일 RL에서 수렴 속도와 안정성 간의 상충관계를 고려한 스텝사이즈 선택에 대한 새로운 통찰을 제공한다.
• 프레임워크는 GTD(0), GTD2, TDC와 같은 온-폴리시 시간차분 학습의 핵심 알고리즘에 대해 수렴 속도를 성공적으로 유도하는 데 응용되었다.
• 결과는 지수적 투영 방식이 기존의 고정 간격 투영 대비 더 날카우며 해석이 용이한 수렴 보장을 이끌어낸다는 점을 보여준다.