[论文解读] Finite Sample Analysis of Two-Timescale Stochastic Approximation with Applications to Reinforcement Learning

Gal Dalal, Balázs Szörényi+2 more|arXiv (Cornell University)|Mar 15, 2017

Simulation Techniques and Applications参考文献 21被引用 42

一句话总结

本文首次对双时间尺度随机逼近（SA）算法进行了有限样本分析，提出了一种基于参数变分法的新方法，推导出集中度界限（锁定概率）。此外，提出了一种稀疏投影方案，其投影间隔呈指数增长，从而将锁定概率转化为收敛速率结果。该框架首次为投影型双时间尺度强化学习算法 GTD(0)、GTD2 和 TDC 提供了有限时间收敛速率，且在更广泛的步长条件下成立，包括非平方可 summable 步长。

ABSTRACT

Two-timescale Stochastic Approximation (SA) algorithms are widely used in Reinforcement Learning (RL). Their iterates have two parts that are updated using distinct stepsizes. In this work, we develop a novel recipe for their finite sample analysis. Using this, we provide a concentration bound, which is the first such result for a two-timescale SA. The type of bound we obtain is known as `lock-in probability'. We also introduce a new projection scheme, in which the time between successive projections increases exponentially. This scheme allows one to elegantly transform a lock-in probability into a convergence rate result for projected two-timescale SA. From this latter result, we then extract key insights on stepsize selection. As an application, we finally obtain convergence rates for the projected two-timescale RL algorithms GTD(0), GTD2, and TDC.

研究动机与目标

• 为解决强化学习（RL）中双时间尺度随机逼近（SA）算法缺乏有限样本分析的问题。
• 开发一种新的有限样本分析方法，用于线性双时间尺度 SA，优于现有基于 ODE 的渐近方法。
• 提出一种新颖的稀疏投影方案，其投影间隔呈指数增长，以实现从锁定概率界限到收敛速率结果的桥梁作用。
• 推导出投影型双时间尺度 RL 算法（包括 GTD(0)、GTD2 和 TDC）的首个有限时间收敛速率。
• 放宽对步长的标准平方可 summable 假设，使分析适用于常数步长或缓慢衰减的步长。

提出的方法

• 提出对 SA 迭代值的变换，以利用参数变分法实现更紧的界限。
• 利用新分析方法，为线性双时间尺度 SA 推导出集中度界限（锁定概率）。
• 引入一种稀疏投影方案，其中连续投影之间的时间间隔随时间加倍。
• 利用该稀疏投影方案，优雅地将锁定概率界限转换为投影型双时间尺度 SA 的收敛速率结果。
• 将该框架应用于 GTD(0)、GTD2 和 TDC，验证了各算法下假设成立，并给出了明确的常数。
• 依赖 Alekseev 公式与尾概率界限，控制迭代值与极限 ODE 轨迹之间的偏差。

实验结果

研究问题

• RQ1 在先前工作中尚无此类结果的前提下，能否为双时间尺度 SA 开展有限样本分析？
• RQ2 能否通过新颖的变换与参数变分法，推导出 SA 迭代值与极限 ODE 之间距离的更紧界限？
• RQ3 能否设计一种新投影方案，使得锁定概率界限可转化为收敛速率结果？
• RQ4 所提出的方法能否为 GTD(0)、GTD2 和 TDC 等投影型双时间尺度 RL 算法提供首个有限时间收敛速率？
• RQ5 能否将分析扩展至非平方可 summable 步长，如常数步长或缓慢衰减的步长？

主要发现

• 本文首次建立了双时间尺度 SA 的集中度界限（锁定概率），为迭代值与最优解之间接近程度提供了有限样本概率保证。
• 所提出的稀疏投影方案可实现从锁定概率到收敛速率的清晰转换，收敛速率量级为 O(max(n^(-β/2)√(ln(n/δ)), n^(β−α)))，适用于合适的步长。
• 对于 GTD(0)、GTD2 和 TDC，该框架在一般步长条件下首次给出了其真实双时间尺度形式的有限时间收敛速率。
• 分析放宽了对步长的标准平方可 summable 假设，使其适用于常数步长或缓慢衰减步长（如 n^(-α)，其中 α 接近 0）。
• 该方法在处理线性和非线性双时间尺度 SA 时均表现有效，且变换技术可能可推广至线性以外的场景。
• 为 GTD2 和 TDC 中的噪声与矩阵假设推导出明确常数，证实了该框架在这些 RL 算法中的适用性。