[논문 리뷰] A Tale of Two-Timescale Reinforcement Learning with the Tightest Finite-Time Bound

Gal Dalal, Balázs Szörényi외 1명|arXiv (Cornell University)|2019. 11. 20.

Reinforcement Learning in Robotics참고 문헌 16인용 수 6

한 줄 요약

이 논문은 GTD(0), GTD2, TDC와 같은 두 시간스케일 강화학습 알고리즘에 대해 알려진 바 중 가장 날카로운 유한시간 수렴 속도 한계를 제공한다. $1 > \alpha > \beta > 0$ 인 서로 다른 스텝사이즈 시퀀스 $\alpha_n = n^{-\alpha}$ 와 $\beta_n = n^{-\beta}$ 를 갖는 확률적 근사 분석을 통해, 고확률 수렴 속도 $\|\theta_n - \theta^*\| = \tilde{O}(n^{-\alpha/2})$ 와 $\|w_n - w^*\| = \tilde{O}(n^{-\beta/2})$ 를 확립하였으며, 이는 일치하는 하한선을 통한 증명을 통해 최적임을 입증한다.

ABSTRACT

Policy evaluation in reinforcement learning is often conducted using two-timescale stochastic approximation, which results in various gradient temporal difference methods such as GTD(0), GTD2, and TDC. Here, we provide convergence rate bounds for this suite of algorithms. Algorithms such as these have two iterates, $θ_n$ and $w_n,$ which are updated using two distinct stepsize sequences, $α_n$ and $β_n,$ respectively. Assuming $α_n = n^{-α}$ and $β_n = n^{-β}$ with $1 > α> β> 0,$ we show that, with high probability, the two iterates converge to their respective solutions $θ^*$ and $w^*$ at rates given by $\|θ_n - θ^*\| = ilde{O}( n^{-α/2})$ and $\|w_n - w^*\| = ilde{O}(n^{-β/2});$ here, $ ilde{O}$ hides logarithmic terms. Via comparable lower bounds, we show that these bounds are, in fact, tight. To the best of our knowledge, ours is the first finite-time analysis which achieves these rates. While it was known that the two timescale components decouple asymptotically, our results depict this phenomenon more explicitly by showing that it in fact happens from some finite time onwards. Lastly, compared to existing works, our result applies to a broader family of stepsizes, including non-square summable ones.

연구 동기 및 목표

• 이전에 명시적이고 날카로운 경계가 부족했던 두 시간스케일 강화학습 알고리즘의 유한시간 수렴 분석 간극을 메우기 위해.
• 명시적이면서도 최적임을 입증하는 수렴 속도 경계를 확립하기 위해, 일치하는 하한선을 통한 확인을 포함하여.
• 제곱합 가능한 스텝사이즈를 넘어서 비제곱합 가능한 시퀀스를 포함한 분석으로 확장하여 적용 범위를 넓히기 위해.
• 두 반복값 간의 분리 현상에 대한 유한시간 특성화를 제공하여, 이가 점근적으로만 알려져 있었던 것에서 유한 시간 이후로도 발생함을 보여주기 위해.
• 문제 매개변수(고유값, 노름, 스텝사이즈 지수)에 따라 변화하는 명시적인 상수를 포함한 유한시간 경계를 유도하여 알고리즘 설계 및 분석에 실용적으로 활용할 수 있도록 하기 위해.

제안 방법

• 서로 다른 스텝사이즈 시퀀스 $\alpha_n = n^{-\alpha}$ 와 $\beta_n = n^{-\beta}$ 를 갖는 두 시간스케일 확률적 근사 프레임워크를 사용하며, 여기서 $1 > \alpha > \beta > 0$ 이다.
• 리아프노프 유사 분석과 모멘트 경계를 활용하여 오차 역학을 재귀 부등식 시스템으로 분해하는 새로운 분해 기법을 적용한다.
• 반복값을 유한 영역 내에서 제어하기 위해 프로젝션 기반 분석을 활용하여 안정성을 확보하고 유한시간 경계를 가능하게 한다.
• 집중 불등식을 사용하여 $\theta_n$ 과 $w_n$ 이 고정점 $\theta^*$ 와 $w^*$ 로부터의 기대 및 고확률 편차에 대한 경계를 유도한다.
• 핵심 기술적 혁신으로, 두 시간스케일 간 상호작용을 포착하는 시간에 따라 변하는 오차 항의 스케일링을 도입한다.
• 오차 항의 성장을 제어하기 위해 재귀적 경계 기법을 사용하여 최종 경계에서 상수의 명시적 표현을 도출한다.

실험 결과

연구 질문

• RQ1 GTD(0), GTD2, TDC와 같은 두 시간스케일 강화학습 알고리즘에 대해 달성 가능한 가장 날카로운 유한시간 수렴 속도는 무엇인가?
• RQ2 일치하는 하한선을 통한 증명을 통해 이 수렴 속도가 최적임을 입증할 수 있는가, 이는 그 날카로움을 확인하는가?
• RQ3 이전에 점근적으로만 알려졌던 두 반복값 간의 분리 현상은 실제로 유한 시간 이후로도 발생하는가, 그리고 이를 정량화할 수 있는가?
• RQ4 실제로 흔히 사용되는 비제곱합 가능한 스텝사이즈 시퀀스로도 분석을 확장할 수 있는가?
• RQ5 실용적인 알고리즘 설계에 활용할 수 있도록, 제어 가능한 상수(예: 고유값, 노름)를 포함한 명시적 비점근적 경계를 도출할 수 있는가?

주요 결과

• 논문은 알려진 바 중 가장 날카로운 유한시간 수렴 속도를 확립한다: 고확률적으로 $\|\theta_n - \theta^*\| = \tilde{O}(n^{-\alpha/2})$ 와 $\|w_n - w^*\| = \tilde{O}(n^{-\beta/2})$.
• 이 경계들은 일치하는 하한선을 통한 증명을 통해 최적임을 입증되어, 주어진 가정 하에 더 빠른 수렴 속도가 불가능함을 확인한다.
• 두 반복값 간의 분리 현상—각각 자신만의 속도로 독립적으로 수렴함—이 점근적으로만 알려져 있었던 것에서, 분석을 통해 실제로 유한 시간 이후로도 발생함을 입증한다.
• 이전 연구들과 달리, 제곱합 가능한 것 외에도 비제곱합 가능한 스텝사이즈 시퀀스를 포함한 더 넓은 클래스의 시퀀스에 적용 가능하여 실용적 관련성을 높인다.
• 경계는 명시적이며 고유값, 행렬의 노름, 스텝사이즈 지수 등 해석 가능한 상수를 포함하여 알고리즘 튜닝에 실용적으로 활용할 수 있다.
• 유사한 하한선 구성을 통해 유도된 상수가 날카로움을 입증하여, 수렴 속도의 최적성 확인.