[论文解读] Finite-sample Analysis of Greedy-GQ with Linear Function Approximation under Markovian Noise

Yue Wang, Shaofeng Zou|arXiv (Cornell University)|May 20, 2020

Reinforcement Learning in Robotics参考文献 25被引用 9

一句话总结

本文首次对在马尔可夫噪声下采用线性函数逼近的贪婪-GQ算法进行了有限样本分析，将最优控制问题建模为非凸优化问题。研究建立了收敛到驻点的理论结果，给出了收敛速率和样本复杂度的显式边界，为学习率选择以及离策略强化学习中收敛速度与策略质量之间的权衡提供了实用指导。

ABSTRACT

Greedy-GQ is an off-policy two timescale algorithm for optimal control in reinforcement learning. This paper develops the first finite-sample analysis for the Greedy-GQ algorithm with linear function approximation under Markovian noise. Our finite-sample analysis provides theoretical justification for choosing stepsizes for this two timescale algorithm for faster convergence in practice, and suggests a trade-off between the convergence rate and the quality of the obtained policy. Our paper extends the finite-sample analyses of two timescale reinforcement learning algorithms from policy evaluation to optimal control, which is of more practical interest. Specifically, in contrast to existing finite-sample analyses for two timescale methods, e.g., GTD, GTD2 and TDC, where their objective functions are convex, the objective function of the Greedy-GQ algorithm is non-convex. Moreover, the Greedy-GQ algorithm is also not a linear two-timescale stochastic approximation algorithm. Our techniques in this paper provide a general framework for finite-sample analysis of non-convex value-based reinforcement learning algorithms for optimal control.

研究动机与目标

• 为解决贪婪-GQ缺乏有限样本分析的问题，该算法是一种用于线性函数逼近下最优控制的双时间尺度离策略算法。
• 分析在马尔可夫噪声下的收敛性，此类噪声破坏了先前随机逼近分析中常用的鞅噪声假设。
• 提出一种新颖的方法论，用于对非凸值基强化学习算法进行有限样本分析，尤其适用于最优控制问题。
• 刻画双时间尺度更新中由马尔可夫噪声引入的随机偏差，并对其传播进行有界控制。
• 提供显式的样本复杂度边界和实用的学习率选择规则，以实现更快的收敛速度和更优的策略质量。

提出的方法

• 将贪婪-GQ建模为最小化均方投影贝尔曼误差（MSPBE）的非凸优化问题，由于策略依赖于动作价值函数，该问题本质上是非凸的。
• 引入一种递归偏差控制技术，用于分析在双时间尺度更新中，目标策略跟踪所引入的随机误差的传播。
• 提出一种新颖的分析框架，不依赖于鞅噪声假设，从而可适用于单条轨迹产生的非独立同分布数据。
• 利用Softmax策略的Lipschitz连续性和光滑性性质，控制梯度变化并推导收敛边界。
• 采用随机梯度方法的随机化框架，分析梯度范数收敛至零的过程，表明算法收敛至驻点。
• 推导出期望平方梯度范数的显式有限样本边界，揭示收敛速率与学习率、特征维度等算法参数之间的关联。

实验结果

研究问题

• RQ1 在马尔可夫噪声下，采用线性函数逼近的贪婪-GQ算法的有限样本收敛速率是什么？
• RQ2 非独立同分布数据引入的随机偏差如何在贪婪-GQ的双时间尺度更新中传播？
• RQ3 非凸优化框架能否有效应用于分析双时间尺度强化学习算法在最优控制中的表现？
• RQ4 贪婪-GQ中收敛速度与策略质量之间存在何种权衡？如何选择学习率以实现平衡？
• RQ5 如何在不依赖鞅噪声假设的前提下，将该分析扩展至非独立同分布设置？

主要发现

• 本文证明，在恒定学习率下，贪婪-GQ可收敛至非凸MSPBE目标的驻点，且期望平方梯度范数以O(1/t)的速率衰减，其中t为迭代次数。
• 推导出显式的有限样本边界，其依赖于特征维度、策略的光滑性以及马尔可夫链的混合特性。
• 收敛速率对学习率的选择高度敏感：较大的学习率可加速收敛，但可能降低最终策略的质量。
• 分析揭示了收敛速度与最终策略质量之间的根本性权衡，为超参数调优提供了理论依据。
• 所提出的递归偏差控制技术成功控制了双时间尺度更新中的误差传播，即使在非独立同分布的马尔可夫噪声下亦成立。
• 证明Softmax策略是2σ-Lipschitz且8σ²-光滑的，这使得能够推导出梯度变化的统一有界性，为收敛性分析提供了必要条件。