[论文解读] A Tale of Two-Timescale Reinforcement Learning with the Tightest Finite-Time Bound

Gal Dalal, Balázs Szörényi+1 more|arXiv (Cornell University)|Nov 20, 2019

Reinforcement Learning in Robotics参考文献 16被引用 6

一句话总结

本文为两类时间尺度强化学习算法（如 GTD(0)、GTD2 和 TDC）提供了目前已知最紧的有限时间收敛速率边界。通过分析具有不同步长序列 $\alpha_n = n^{-\alpha}$ 和 $\beta_n = n^{-\beta}$ 的随机逼近方法，其中 $1 > \alpha > \beta > 0$，本文建立了高概率收敛速率 $\|\theta_n - \theta^*\| = \tilde{O}(n^{-\alpha/2})$ 和 $\|w_n - w^*\| = \tilde{O}(n^{-\beta/2})$，并通过匹配的下界证明了这些速率的最优性。

ABSTRACT

Policy evaluation in reinforcement learning is often conducted using two-timescale stochastic approximation, which results in various gradient temporal difference methods such as GTD(0), GTD2, and TDC. Here, we provide convergence rate bounds for this suite of algorithms. Algorithms such as these have two iterates, $θ_n$ and $w_n,$ which are updated using two distinct stepsize sequences, $α_n$ and $β_n,$ respectively. Assuming $α_n = n^{-α}$ and $β_n = n^{-β}$ with $1 > α> β> 0,$ we show that, with high probability, the two iterates converge to their respective solutions $θ^*$ and $w^*$ at rates given by $\|θ_n - θ^*\| = ilde{O}( n^{-α/2})$ and $\|w_n - w^*\| = ilde{O}(n^{-β/2});$ here, $ ilde{O}$ hides logarithmic terms. Via comparable lower bounds, we show that these bounds are, in fact, tight. To the best of our knowledge, ours is the first finite-time analysis which achieves these rates. While it was known that the two timescale components decouple asymptotically, our results depict this phenomenon more explicitly by showing that it in fact happens from some finite time onwards. Lastly, compared to existing works, our result applies to a broader family of stepsizes, including non-square summable ones.

研究动机与目标

• 为两类时间尺度强化学习算法的有限时间收敛分析填补空白，此前缺乏明确且紧致的边界。
• 建立不仅明确而且最优的收敛速率边界，并通过匹配的下界确认其紧致性。
• 将分析范围从平方 summable 步长扩展到非平方 summable 序列，扩大适用范围。
• 对两类迭代之间的解耦现象提供有限时间表征，表明该现象从有限时间起即发生，而不仅限于渐近意义。
• 推导出包含问题参数（如特征值、范数、步长指数）显式常数的边界，以支持算法设计与分析的实际应用。

提出的方法

• 采用具有不同步长序列 $\alpha_n = n^{-\alpha}$ 和 $\beta_n = n^{-\beta}$ 的两类时间尺度随机逼近框架，其中 $1 > \alpha > \beta > 0$。
• 通过李雅普诺夫型分析与矩界，将误差动态分解为一组递归不等式系统，提出新颖的分解方法。
• 采用基于投影的分析方法，将迭代值控制在有界区域内，确保稳定性并支持有限时间边界的推导。
• 利用集中不等式，推导 $\theta_n$ 和 $w_n$ 相对于其不动点 $\theta^*$ 和 $w^*$ 的期望偏差与高概率偏差边界。
• 引入关键的技术创新：对误差项进行时变缩放，以捕捉两类时间尺度之间的相互作用。
• 采用递归边界控制技术，控制误差项的增长，从而导出最终边界中显式表达的常数。

实验结果

研究问题

• RQ1 对于 GTD(0)、GTD2 和 TDC 等两类时间尺度强化学习算法，可实现的最紧致有限时间收敛速率是什么？
• RQ2 是否可通过匹配的下界证明收敛速率的最优性，从而确认其紧致性？
• RQ3 此前仅知渐近成立的两类迭代解耦现象，是否从有限时间起即发生？该现象能否被量化？
• RQ4 分析是否可扩展至非平方 summable 步长序列，这类序列在实践中较为常见？
• RQ5 能否推导出显式且非渐近的边界，其常数可控（如特征值、范数等），以支持实际算法设计？

主要发现

• 本文建立了目前已知最紧致的有限时间收敛速率：高概率下 $\|\theta_n - \theta^*\| = \tilde{O}(n^{-\alpha/2})$ 与 $\|w_n - w^*\| = \tilde{O}(n^{-\beta/2})$。
• 这些边界通过匹配的下界被证明为最优，确认在给定假设下无法实现更快的收敛速率。
• 两类迭代之间的解耦现象——即每类迭代以各自速率独立收敛——不仅在渐近意义下成立，也从有限时间起即发生，分析结果对此进行了量化。
• 该分析适用于比以往工作更广泛的步长序列类别，包括非平方 summable 序列，显著增强了实际相关性。
• 边界为显式表达，包含可解释的常数，如特征值、矩阵范数及步长指数，支持实际算法调参。
• 通过构造匹配的下界，验证了所推导常数的紧致性，从而确认了收敛速率的最优性。