[论文解读] A Multistep Lyapunov Approach for Finite-Time Analysis of Biased Stochastic Approximation

Gang Wang, Bingcong Li+1 more|arXiv (Cornell University)|Sep 10, 2019

Reinforcement Learning in Robotics参考文献 34被引用 25

一句话总结

本文提出了一种新颖的多步李雅普诺夫函数，以实现对一般随机噪声（包括马尔可夫链）下有偏随机逼近（SA）算法的有限时间分析。该研究建立了未经修改的TD(0)和Q-learning在一般混合条件下及任意初始分布下，使用线性和非线性函数逼近器时的首个非渐近均方误差界——无需投影步骤或等待混合时间。

ABSTRACT

Motivated by the widespread use of temporal-difference (TD-) and Q-learning algorithms in reinforcement learning, this paper studies a class of biased stochastic approximation (SA) procedures under a mild "ergodic-like" assumption on the underlying stochastic noise sequence. Building upon a carefully designed multistep Lyapunov function that looks ahead to several future updates to accommodate the stochastic perturbations (for control of the gradient bias), we prove a general result on the convergence of the iterates, and use it to derive non-asymptotic bounds on the mean-square error in the case of constant stepsizes. This novel looking-ahead viewpoint renders finite-time analysis of biased SA algorithms under a large family of stochastic perturbations possible. For direct comparison with existing contributions, we also demonstrate these bounds by applying them to TD- and Q-learning with linear function approximation, under the practical Markov chain observation model. The resultant finite-time error bound for both the TD- as well as the Q-learning algorithms is the first of its kind, in the sense that it holds i) for the unmodified versions (i.e., without making any modifications to the parameter updates) using even nonlinear function approximators; as well as for Markov chains ii) under general mixing conditions and iii) starting from any initial distribution, at least one of which has to be violated for existing results to be applicable.

研究动机与目标

• 为一般随机噪声序列下的有偏随机逼近（SA）算法开发非渐近性能保证。
• 克服现有有限时间分析中对投影步骤、几何混合或长时间初始化延迟的依赖。
• 将有限时间误差界扩展至使用非线性函数逼近器的未经修改的TD(0)和Q-learning算法。
• 在一般混合速率和任意初始分布下，分析马尔可夫链观测下的收敛性。
• 通过一种新颖的多步李雅普诺夫函数，为SA过程的有限时间分析提供一个通用框架。

提出的方法

• 设计一种包含未来迭代的多步李雅普诺夫函数，以控制随机扰动引起的梯度偏差。
• 引入噪声序列的温和“遍历性类似”假设，适用于i.i.d.序列和不可约、非周期性马尔可夫链。
• 构建一种可前瞻多步的李雅普诺夫函数，以稳定更新规则中由瞬时噪声引入的偏差。
• 利用多步李雅普诺夫函数，推导常步长SA过程的非渐近均方误差界。
• 将一般界特化至单轨迹马尔可夫链模型下，使用线性函数逼近器的TD(0)和Q-learning。
• 证明所推导的界在无需投影步骤、从第一轮迭代起、且在一般混合条件下均成立。

实验结果

研究问题

• RQ1 是否可以为未经修改的TD(0)和Q-learning算法建立有限时间误差界，而无需依赖投影步骤？
• RQ2 能否为在一般混合马尔可夫链和任意初始分布下运行的有偏SA算法，推导出非渐近保证？
• RQ3 所提出的多步李雅普诺夫函数是否能有效控制一般随机扰动下的梯度偏差？
• RQ4 所推导的界是否适用于非线性函数逼近器，而不仅限于线性模型？
• RQ5 该分析能否扩展至对噪声过程假设极少的常步长SA过程？

主要发现

• 所提出的多步李雅普诺夫函数使有偏SA在一大类随机扰动（包括具有通用混合速率的马尔可夫链）下的有限时间分析成为可能。
• 首次推导出未经修改的TD(0)和Q-learning在线性函数逼近下的非渐近均方误差界，该界从第一轮迭代起即有效，且适用于任意初始分布。
• 该界无需将迭代投影到紧集内，这是相较于先前研究的重要优势，后者通常需施加此类约束。
• 只要满足假设1，该分析可扩展至非线性函数逼近器，从而超越线性模型的限制。
• 该界在一般混合条件下（包括次几何速率）均成立，而先前工作通常要求几何混合速率。
• 通过证明在标准采样和逼近条件下，Q-learning在线性函数逼近下满足假设1–3，验证了理论框架的有效性。