[论文解读] Convergence Rates of Accelerated Markov Gradient Descent with Applications in Reinforcement Learning

Thinh T. Doan, Lam M. Nguyen+2 more|arXiv (Cornell University)|Feb 7, 2020

Stochastic Gradient Optimization Techniques参考文献 41被引用 13

一句话总结

本文提出加速马尔可夫梯度下降（AMGD），一种加速随机梯度下降的变体，其梯度采样自马尔可夫过程而非独立同分布（i.i.d.）样本。尽管梯度存在偏差和依赖性，AMGD 仍实现了与 i.i.d. 情况下相近的收敛速率，仅多出一个与马尔可夫链混合时间相关的对数因子，并在强化学习基准测试中展现出显著的样本效率提升。

ABSTRACT

Motivated by broad applications in machine learning, we study the popular accelerated stochastic gradient descent (ASGD) algorithm for solving (possibly nonconvex) optimization problems. We characterize the finite-time performance of this method when the gradients are sampled from Markov processes, and hence biased and dependent from time step to time step; in contrast, the analysis in existing work relies heavily on the stochastic gradients being independent and sometimes unbiased. Our main contributions show that under certain (standard) assumptions on the underlying Markov chain generating the gradients, ASGD converges at the nearly the same rate with Markovian gradient samples as with independent gradient samples. The only difference is a logarithmic factor that accounts for the mixing time of the Markov chain. One of the key motivations for this study are complicated control problems that can be modeled by a Markov decision process and solved using reinforcement learning. We apply the accelerated method to several challenging problems in the OpenAI Gym and Mujoco, and show that acceleration can significantly improve the performance of the classic temporal difference learning and REINFORCE algorithms.

研究动机与目标

• 填补当梯度由马尔可夫过程生成（引入偏差和时间依赖性）时，加速随机梯度下降在理论上的空白。
• 在马尔可夫链的标准假设下，建立加速马尔可夫梯度下降（AMGD）的收敛速率。
• 证明在轨迹采样导致梯度天然具有马尔可夫性的强化学习设置中，加速依然有效。
• 表明 AMGD 所需样本数显著少于标准时序差分学习和 REINFORCE 方法，且与理论边界一致。

提出的方法

• 提出 AMGD 作为 Nesterov 加速梯度方法的变体，适用于从具有平稳分布 π 的遍历马尔可夫链中采样的梯度。
• 在三种函数类下分析收敛性：凸且光滑、强凸、非凸且光滑，均基于马尔可夫链的标准假设。
• 在收敛界中引入与混合时间相关的对数因子，量化马尔可夫依赖对收敛速度的影响。
• 采用李雅普诺夫函数方法，结合递推不等式，以混合时间与步长序列表示期望次优性间隙 f(x̄_k) - f(x*) 的上界。
• 采用时变步长 γ_k = 2/(μ(k+1)) 和动量参数 α_k = 2k，满足 Nesterov 方法的递推关系。
• 通过将梯度偏差和依赖性分解为涉及混合时间 τ(γ_k) 和链混合特性的项，推导出期望误差的上界。

实验结果

研究问题

• RQ1 当梯度采样自马尔可夫过程而非 i.i.d. 样本时，加速随机梯度下降能否维持接近最优的收敛速率？
• RQ2 马尔可夫链的混合时间如何影响非凸且光滑优化中加速方法的收敛速率？
• RQ3 在时序差分学习和 REINFORCE 等强化学习算法中，加速在多大程度上提升了样本效率？
• RQ4 能否将加速方法在依赖、有偏梯度采样下的理论收敛保证扩展至马尔可夫决策过程？

主要发现

• 对于非凸且光滑的目标函数，AMGD 实现了 O(log(k)/k) 的收敛速率，与 i.i.d. 情况相比仅多出一个与马尔可夫链混合时间相关的对数因子。
• 对于强凸函数，期望次优性 f(x̄_k) - f(x*) 的上界为 O(1/k²)，其中对数因子源于混合时间，与已知的 i.i.d. 速率一致。
• 在 OpenAI Gym 和 MuJoCo 环境的实验中，TD 学习和 REINFORCE 的 AMGD 变体在达到相当的策略性能时，所需样本数显著更少。
• 理论界包含一个与 log(μ(k+1)/2) 成比例的项，该参数捕捉了马尔可夫采样的影响，并通过更快的收敛速度得到实证验证。
• 分析表明，马尔可夫梯度中的偏差和依赖性不会使加速的收敛速率劣化超过对数因子。
• 实证结果证实，加速在实践中极为有效，AMGD 使用高达 50% 更少的样本，即可学习到奖励更高的策略。