[논문 리뷰] Finite-Time Performance Bounds and Adaptive Learning Rate Selection for Two Time-Scale Reinforcement Learning

Harsh Gupta, R. Srikant외 1명|arXiv (Cornell University)|2019. 07. 14.

Advancements in Semiconductor Devices and Circuit Design인용 수 49

한 줄 요약

이 논문은 특수한 편미분 이론에서 유도된 리아푸노프 함수를 사용하여 두 시간 스케일 선형 스토하스틱 근사 알고리즘에 대한 유한 시간 성능 한계를 수립한다. 실험적으로 최적의 다항식 감쇠 규칙보다 뛰어난 성능을 보이는 적응형 학습률 계획을 제안하며, GTD, GTD2 및 TDC와 같은 강화학습 방법에서 수렴 속도를 크게 향상시킨다.

ABSTRACT

We study two time-scale linear stochastic approximation algorithms, which can be used to model well-known reinforcement learning algorithms such as GTD, GTD2, and TDC. We present finite-time performance bounds for the case where the learning rate is fixed. The key idea in obtaining these bounds is to use a Lyapunov function motivated by singular perturbation theory for linear differential equations. We use the bound to design an adaptive learning rate scheme which significantly improves the convergence rate over the known optimal polynomial decay rule in our experiments, and can be used to potentially improve the performance of any other schedule where the learning rate is changed at pre-determined time instants.

연구 동기 및 목표

• 강화학습에서 사용되는 두 시간 스케일 선형 스토하스틱 근사 알고리즘에 대한 유한 시간 성능 한계를 유도하는 것.
• 고정 또는 다항식 감쇠 스케줄보다 뛰어난 수렴 속도를 향상시키는 적응형 학습률 선택 방법을 개발하는 것.
• 특수한 편미분 이론을 통해 유도된 리아푸노프 함수를 활용하여 알고리즘의 안정성과 성능을 분석하고 향상시키는 것.
• GTD, GTD2 및 TDC와 같은 알고리즘에서 동적 학습률 적응을 통해 성능 향상을 가능하게 하는 것.

제안 방법

• 두 시간 스케일 스토하스틱 근사의 오차 동역학을 분석하기 위해 특수한 편미분 이론에서 유도된 리아푸노프 함수를 구성한다.
• 리아푸노프 함수의 시간에 따른 감쇠 속도를 분석하여 유한 시간 성능 한계를 도출한다.
• 이 한계를 바탕으로 현재 오차 추정치에 따라 조정되는 적응형 학습률 스케줄을 설계한다.
• 이 적응형 방법은 고정 학습률 및 다항식 감쇠 기준과 비교하여 표준 강화학습 알고리즘(GTD, GTD2, TDC 포함)에서 실증적으로 평가된다.
• 사전에 최적의 학습률을 알지 못하더라도, 사전에 정해진 시간 순간들에서 동적으로 학습률을 조정할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 두 시간 스케일 선형 스토하스틱 근사 알고리즘에 대해 어떻게 엄밀한 유한 시간 성능 한계를 도출할 수 있는가?
• RQ2 특수한 편미분 이론에서 유도된 리아푸노프 함수가 이러한 알고리즘의 수렴 오차를 분석하고 경계하는 데 효과적으로 활용될 수 있는가?
• RQ3 이러한 경계에 기반한 적응형 학습률 스케줄이 알려진 고정 또는 다항식 감쇠 학습률 규칙보다 뛰어나게 성능을 향상시킬 수 있는가?
• RQ4 제안된 적응형 방법은 GTD, GTD2 및 TDC 알고리즘에서 수렴 속도 향상에 얼마나 기여할 수 있는가?

주요 결과

• 제안된 유한 시간 성능 한계는 특수한 편미분 이론에 기반한 리아푸노프 함수를 사용하여 도출되었으며, 오차 감쇠 분석을 위한 이론적 기반을 제공한다.
• 이 경계에 기반한 적응형 학습률 계획은 실험 평가에서 알려진 최적의 다항식 감쇠 규칙보다 더 빠른 수렴을 달성한다.
• 수렴 속도 향상은 GTD, GTD2 및 TDC를 포함한 여러 강화학습 알고리즘에서 뚜렷하고 일관되게 관찰된다.
• 이 적응형 방법은 사전에 정해진 시간 순간에서 조정되는 모든 학습률 스케줄에 적용 가능하여 광범위한 적용성을 지닌다.