[论文解读] Concentration Bounds for Two Timescale Stochastic Approximation with Applications to Reinforcement Learning

Gal Dalal, Balázs Szörényi+2 more|arXiv (Cornell University)|Mar 15, 2017

Reinforcement Learning in Robotics被引用 5

一句话总结

本文提出了首个针对两时间尺度随机逼近（SA）的有限样本浓度界限——具体而言，是锁定概率。该框架是强化学习（RL）中的关键方法。论文引入了一种指数投影方案，将锁定概率转化为收敛速率保证，从而为学习率选择提供了新见解，并为GTD(0)、GTD2和TDC算法建立了收敛速率。

ABSTRACT

Two-timescale Stochastic Approximation (SA) algorithms are widely used in Reinforcement Learning (RL). Their iterates have two parts that are updated using distinct stepsizes. In this work, we develop a novel recipe for their finite sample analysis. Using this, we provide a concentration bound, which is the first such result for a two-timescale SA. The type of bound we obtain is known as `lock-in probability'. We also introduce a new projection scheme, in which the time between successive projections increases exponentially. This scheme allows one to elegantly transform a lock-in probability into a convergence rate result for projected two-timescale SA. From this latter result, we then extract key insights on stepsize selection. As an application, we finally obtain convergence rates for the projected two-timescale RL algorithms GTD(0), GTD2, and TDC.

研究动机与目标

• 为解决两时间尺度随机逼近（SA）在强化学习中广泛应用但缺乏有限样本浓度界限的问题。
• 在一般条件下，为两时间尺度SA的有限样本分析开发一种新颖的分析方法。
• 提出一种投影间隔随时间指数增长的新投影方案，以改进收敛性分析。
• 通过将锁定概率转化为速率结果，推导出投影型两时间尺度SA的收敛速率。
• 将该框架应用于关键强化学习算法，获得GTD(0)、GTD2和TDC的收敛速率。

提出的方法

• 提出一种新颖的有限样本分析方法，用于两时间尺度SA，从而实现浓度界限的推导。
• 引入一种指数投影方案，其中连续投影之间的时间间隔呈指数增长，从而随时间减少投影频率。
• 将锁定概率——即迭代值保持在最优解邻域内的概率——作为关键分析工具。
• 通过利用指数投影方案的结构，将锁定概率转化为收敛速率结果。
• 将所得框架应用于分析和推导投影型两时间尺度强化学习算法的收敛速率。
• 在新分析框架内，运用随机逼近理论中的标准工具，包括鞅差序列和李雅普诺夫函数方法。

实验结果

研究问题

• RQ1 两时间尺度随机逼近的首个有限样本浓度界限是什么？它如何推导得出？
• RQ2 为何投影间隔呈指数增长能改善投影型两时间尺度SA的分析？
• RQ3 能否将锁定概率转化为投影型两时间尺度SA的收敛速率？
• RQ4 从推导出的收敛速率结果中，关于学习率选择可获得哪些新见解？
• RQ5 利用所提框架，可为GTD(0)、GTD2和TDC建立哪些收敛速率？

主要发现

• 本文首次建立了两时间尺度随机逼近的有限样本浓度界限——具体为锁定概率。
• 所提出的指数投影方案可实现从锁定概率到收敛速率的清晰转换，简化了投影算法的分析。
• 该框架得出了投影型两时间尺度SA的新收敛速率结果，且明确体现了对学习率参数的依赖性。
• 分析揭示了关于学习率选择的新见解，特别是两时间尺度强化学习中收敛速度与稳定性之间的权衡。
• 该框架成功应用于推导出GTD(0)、GTD2和TDC的关键算法的收敛速率，这些算法是离策略时序差分学习中的核心方法。
• 结果表明，与标准固定间隔投影相比，指数投影方案可带来更紧致且更易解释的收敛保证。