[论文解读] Finite-Sample Analysis of Contractive Stochastic Approximation Using Smooth Convex Envelopes

Zaiwei Chen, Siva Theja Maguluri+2 more|arXiv (Cornell University)|Jan 1, 2020

Reinforcement Learning in Robotics被引用 9

一句话总结

本文通过广义Moreau逼近的平滑凸包络，对具有收缩映射的随机逼近进行了有限样本分析，实现了李雅普诺夫函数中的负漂移，仅在状态空间大小上具有对数依赖的收敛界。该方法首次建立了V-trace算法在离策略TD学习中的收敛速率。

ABSTRACT

Stochastic Approximation (SA) is a popular approach for solving fixed-point equations where the information is corrupted by noise. In this paper, we consider an SA involving a contraction mapping with respect to an arbitrary norm, and show its finite-sample error bounds while using different stepsizes. The idea is to construct a smooth Lyapunov function using the generalized Moreau envelope, and show that the iterates of SA have negative drift with respect to that Lyapunov function. Our result is applicable in Reinforcement Learning (RL). In particular, we use it to establish the first-known convergence rate of the V-trace algorithm for off-policy TD-learning. Importantly, our construction results in only a logarithmic dependence of the convergence bound on the size of the state-space.

研究动机与目标

• 开发在噪声观测下具有收缩映射的随机逼近的有限样本误差界。
• 解决在离策略强化学习方法中分析收敛速率的挑战，特别是针对V-trace等算法。
• 降低收敛界对状态空间大小的依赖，该依赖在以往分析中通常为多项式或更差。
• 利用广义Moreau逼近构造平滑李雅普诺夫函数，以实现对随机迭代的漂移分析。
• 首次建立V-trace算法在离策略时序差分学习中的收敛速率。

提出的方法

• 利用与收缩映射相关的势函数的广义Moreau逼近，构造平滑李雅普诺夫函数。
• 利用Moreau逼近的平滑性和凸性，推导出随机逼近迭代的负漂移。
• 通过界定李雅普诺夫函数在迭代过程中的期望下降量，分析有限样本误差。
• 通过在一般范数下将V-trace更新建模为收缩随机逼近，将该框架应用于离策略TD学习。
• 推导出仅随状态空间大小对数增长的收敛界，而非多项式增长。
• 利用收缩映射和噪声假设的结构，确保在不同步长下的稳定性和收敛性。

实验结果

研究问题

• RQ1 能否使用平滑凸包络实现对具有任意范数的收缩随机逼近的有限样本分析？
• RQ2 在任意范数下，步长选择如何影响收缩随机逼近中的收敛速率？
• RQ3 在离策略TD学习算法中，收敛界对状态空间大小的依赖关系如何？
• RQ4 广义Moreau逼近能否用于构造确保随机迭代中负漂移的李雅普诺夫函数？
• RQ5 V-trace算法在离策略时序差分学习中的首个已知收敛速率是什么？

主要发现

• 所提方法在任意范数下实现了对具有收缩映射的随机逼近的有限样本误差界。
• 使用广义Moreau逼近可构造出具有负漂移的平滑李雅普诺夫函数，从而确保稳定性和收敛性。
• 收敛界仅对状态空间大小表现出对数依赖，显著优于以往工作中多项式依赖。
• 该框架被应用于推导出V-trace算法在离策略TD学习中的首个已知收敛速率。
• 该分析适用于一般步长，并可推广至具有收缩映射的广泛类随机逼近问题。
• 结果表明，平滑凸包络在强化学习中对噪声迭代算法的有限样本分析中具有关键作用。