[论文解读] Greedy-GQ with Variance Reduction: Finite-time Analysis and Improved Complexity

Shaocong Ma, Ziyi Chen+2 more|arXiv (Cornell University)|Mar 30, 2021

Reinforcement Learning in Robotics参考文献 36被引用 7

一句话总结

该论文提出 VR-Greedy-GQ，一种在线性函数逼近和马尔可夫采样条件下用于离策略最优控制的方差缩减两时标强化学习算法。通过在两个时标更新中整合 SVRG 方案以减少随机梯度方差，该方法实现了 $\/mathcal{O}(\epsilon^{-2})$ 的改进样本复杂度，显著降低了原始 Greedy-GQ 的 $\/mathcal{O}(\epsilon^{-3})$ 复杂度，同时保持收敛至 $\/epsilon$-平稳点。

ABSTRACT

Greedy-GQ is a value-based reinforcement learning (RL) algorithm for optimal control. Recently, the finite-time analysis of Greedy-GQ has been developed under linear function approximation and Markovian sampling, and the algorithm is shown to achieve an $ε$-stationary point with a sample complexity in the order of $\mathcal{O}(ε^{-3})$. Such a high sample complexity is due to the large variance induced by the Markovian samples. In this paper, we propose a variance-reduced Greedy-GQ (VR-Greedy-GQ) algorithm for off-policy optimal control. In particular, the algorithm applies the SVRG-based variance reduction scheme to reduce the stochastic variance of the two time-scale updates. We study the finite-time convergence of VR-Greedy-GQ under linear function approximation and Markovian sampling and show that the algorithm achieves a much smaller bias and variance error than the original Greedy-GQ. In particular, we prove that VR-Greedy-GQ achieves an improved sample complexity that is in the order of $\mathcal{O}(ε^{-2})$. We further compare the performance of VR-Greedy-GQ with that of Greedy-GQ in various RL experiments to corroborate our theoretical findings.

研究动机与目标

• 为解决 Greedy-GQ 在马尔可夫采样下样本复杂度过高的问题，其根源在于离策略时序差分更新中存在较大的随机方差。
• 为 Greedy-GQ 中的两时标更新设计一种定制化的方差缩减方案，利用 SVRG 框架以稳定学习过程。
• 在线性函数逼近和马尔可夫采样条件下，为所提算法建立有限时间收敛保证。
• 从理论上和实证上证明，方差缩减可提升最优控制中的样本效率。

提出的方法

• 该算法将基于 SVRG 的方差缩减技术应用于 Greedy-GQ 中的快速和慢速时标更新，使用大小为 $M$ 的参考批次计算控制变量子。
• 在每个外层循环开始时，维护参数 $\widetilde{\theta}^{(m)}$ 和 $\widetilde{\omega}^{(m)}$ 的快照，以减少随机梯度中的方差。
• 在两时标更新方案中，分别为策略参数 $\theta$ 和价值函数参数 $\omega$ 使用两个独立的学习率 $\eta_\theta$ 和 $\eta_\omega$。
• 理论分析表明，偏差误差和方差误差分别被限制在 $\mathcal{O}(M^{-1})$ 和 $\mathcal{O}(\eta_\theta M^{-1})$，表明与 Greedy-GQ 相比，方差降低了 $M$ 倍。
• 该算法专为使用经验回放和从行为策略中进行马尔可夫采样的离策略学习而设计，结合线性函数逼近。
• 收敛性分析将 SVRG 风格的论证扩展至两时标、非凸设置，需在马尔可夫依赖条件下采用新颖的方差与偏差控制技术。

实验结果

研究问题

• RQ1 能否有效将方差缩减方案应用于 Greedy-GQ 中的两时标更新，以在马尔可夫采样下减少随机梯度方差？
• RQ2 所提出的方差缩减算法在有限时间设置下是否相比原始 Greedy-GQ 实现了更优的样本复杂度？
• RQ3 SVRG 框架能否被适配以处理两时标强化学习中的相关性与非凸更新？
• RQ4 在方差缩减设置下，批量大小 $M$、学习率 $\eta_\theta$ 与收敛误差之间的理论权衡是什么？
• RQ5 在有限时间范围内，偏差与方差如何随 $M$ 和 $\eta_\theta$ 变化？

主要发现

• VR-Greedy-GQ 以 $\/mathcal{O}(\epsilon^{-2})$ 的样本复杂度达到 $\/epsilon$-平稳点，优于原始 Greedy-GQ 的 $\/mathcal{O}(\epsilon^{-3})$ 复杂度。
• 由于马尔可夫采样带来的偏差误差降低至 $\/mathcal{O}(M^{-1})$，方差误差降低至 $\/mathcal{O}(\eta_\theta M^{-1})$，均相比 Greedy-GQ 降低了 $M$ 倍。
• 理论分析证实，方差缩减机制在在线性函数逼近下显著降低了两时标更新中的偏差与方差。
• 在 Garnet 和 Frozen Lake 环境上的实证评估表明，VR-Greedy-GQ 比 Greedy-GQ 收敛更快，且达到更高的最大期望奖励。
• 该算法在多条轨迹上保持了稳定性能，最大估计奖励随训练过程稳步提升，表明策略优化有效。
• 样本复杂度的改进归因于基于 SVRG 的控制变量子机制，该机制在两个时标更新中均有效降低了梯度噪声。