[论文解读] Finite-Time Performance Bounds and Adaptive Learning Rate Selection for Two Time-Scale Reinforcement Learning

Harsh Gupta, R. Srikant+1 more|arXiv (Cornell University)|Jul 14, 2019

Advancements in Semiconductor Devices and Circuit Design被引用 49

一句话总结

本文通过基于奇异摄动理论的李雅普诺夫函数，为两种时标线性随机逼近算法建立了有限时间性能边界。提出了一种自适应学习率方案，在实验中优于最优多项式衰减规则，显著提升了强化学习方法（如 GTD、GTD2 和 TDC）的收敛速度。

ABSTRACT

We study two time-scale linear stochastic approximation algorithms, which can be used to model well-known reinforcement learning algorithms such as GTD, GTD2, and TDC. We present finite-time performance bounds for the case where the learning rate is fixed. The key idea in obtaining these bounds is to use a Lyapunov function motivated by singular perturbation theory for linear differential equations. We use the bound to design an adaptive learning rate scheme which significantly improves the convergence rate over the known optimal polynomial decay rule in our experiments, and can be used to potentially improve the performance of any other schedule where the learning rate is changed at pre-determined time instants.

研究动机与目标

• 为强化学习中使用的两种时标线性随机逼近算法推导有限时间性能边界。
• 开发一种自适应学习率选择方法，以超越固定或多项式衰减调度的收敛速度。
• 通过李雅普诺夫函数应用奇异摄动理论，分析并提升算法的稳定性和性能。
• 通过动态学习率自适应，实现 GTD、GTD2 和 TDC 等算法的性能改进。

提出的方法

• 构建一种受奇异摄动理论启发的李雅普诺夫函数，用于分析两种时标随机逼近的误差动态。
• 通过分析李雅普诺夫函数随时间的衰减率，推导出有限时间性能边界。
• 利用该边界设计一种基于当前误差估计自适应调整的学习率调度方案。
• 在标准强化学习算法（包括 GTD、GTD2 和 TDC）上，对自适应方案进行实验评估，基准为固定学习率和多项式衰减规则。
• 该方法可在预设时间点实现学习率的动态调整，且无需预先知晓最优学习率。

实验结果

研究问题

• RQ1 如何为两种时标线性随机逼近算法严谨地推导出有限时间性能边界？
• RQ2 基于奇异摄动理论的李雅普诺夫函数能否有效用于分析和界定此类算法的收敛误差？
• RQ3 基于这些边界的自适应学习率调度方案是否优于已知的固定或多项式衰减学习率规则？
• RQ4 所提出的自适应方案在 GTD、GTD2 和 TDC 算法中能在多大程度上提升收敛速度？

主要发现

• 所提出的有限时间性能边界基于扎根于奇异摄动理论的李雅普诺夫函数，为误差衰减分析提供了理论基础。
• 基于边界的自适应学习率方案在实验评估中实现了比已知最优多项式衰减规则更快的收敛速度。
• 收敛速度的提升在多个强化学习算法中均显著且一致，包括 GTD、GTD2 和 TDC。
• 该自适应方法可应用于任何在预设时间点调整的学习率调度方案，具有广泛适用性。