[论文解读] Single-Timescale Stochastic Nonconvex-Concave Optimization for Smooth Nonlinear TD Learning

Shuang Qiu, Zhuoran Yang+3 more|arXiv (Cornell University)|Aug 23, 2020

Stochastic Gradient Optimization Techniques参考文献 35被引用 14

一句话总结

本文通过求解一个非凸-强凹最小最大问题，提出两种单时标、单循环的随机算法，用于平滑非线性TD学习。第一种算法使用动量，实现$O(\varepsilon^{-4})$的样本复杂度；第二种算法结合动量与方差减少，无需大批次检查点即可达到最优的$O(\varepsilon^{-3})$样本复杂度。

ABSTRACT

Temporal-Difference (TD) learning with nonlinear smooth function approximation for policy evaluation has achieved great success in modern reinforcement learning. It is shown that such a problem can be reformulated as a stochastic nonconvex-strongly-concave optimization problem, which is challenging as naive stochastic gradient descent-ascent algorithm suffers from slow convergence. Existing approaches for this problem are based on two-timescale or double-loop stochastic gradient algorithms, which may also require sampling large-batch data. However, in practice, a single-timescale single-loop stochastic algorithm is preferred due to its simplicity and also because its step-size is easier to tune. In this paper, we propose two single-timescale single-loop algorithms which require only one data point each step. Our first algorithm implements momentum updates on both primal and dual variables achieving an $O(\varepsilon^{-4})$ sample complexity, which shows the important role of momentum in obtaining a single-timescale algorithm. Our second algorithm improves upon the first one by applying variance reduction on top of momentum, which matches the best known $O(\varepsilon^{-3})$ sample complexity in existing works. Furthermore, our variance-reduction algorithm does not require a large-batch checkpoint. Moreover, our theoretical results for both algorithms are expressed in a tighter form of simultaneous primal and dual side convergence.

研究动机与目标

• 解决随机梯度下降-上升在非线性TD学习中收敛缓慢的挑战。
• 开发单时标、单循环算法，避免双时标或双循环方法的复杂性。
• 在不依赖大批次数据进行方差减少的前提下，实现最优样本复杂度。
• 提供更紧密的收敛性分析，同时度量原始问题与对偶问题的收敛情况。
• 展示动量与方差减少在单时标设置下的有效性。

提出的方法

• 提出一种单时标算法，在原始变量（θ）和对偶变量（ω）上均使用动量，以稳定更新并提升收敛性。
• 引入一种方差减少的变体，结合动量与随机梯度估计，以降低噪声并加速收敛。
• 采用固定步长调度ν_t = 1/[3(T+b)^{1/3}]进行理论分析，确保在非渐近条件下收敛。
• 利用Fenchel对偶性，将广义均方投影贝尔曼误差（MSPBE）最小化问题重新表述为非凸-强凹（NCSC）最小最大问题。
• 通过更紧密的度量分析收敛性，该度量联合衡量原始问题与对偶问题的进展，定义为原始子最优性、梯度误差与对偶不可行性的期望平均值。
• 应用Jensen不等式与递归有界技术，推导出以期望子最优性与不可行性表示的收敛速率。

实验结果

研究问题

• RQ1 动量能否在单时标算法中被有效利用，以实现在非凸-凹最小最大问题中的收敛？
• RQ2 方差减少能否被整合进单时标、单循环框架中，而无需依赖大批次检查点？
• RQ3 单时标算法在平滑非线性TD学习中可实现的最优样本复杂度是多少？
• RQ4 所提出的收敛度量（同时衡量原始与对偶进展）与标准的仅原始问题度量相比有何差异？
• RQ5 在单时标设置下，理论收敛速率能否从$O(\varepsilon^{-4})$提升至$O(\varepsilon^{-3})$？

主要发现

• 基于动量的单时标算法实现了$O(\varepsilon^{-4})$的样本复杂度，表明动量在实现单时标收敛中起着关键作用。
• 方差减少算法实现了最优的$O(\varepsilon^{-3})$样本复杂度，与文献中已知的最佳结果一致。
• 该方差减少算法无需大批次数据进行检查点，因此在在线学习中更具实用性。
• 收敛性分析更紧密，同时度量原始与对偶变量的进展，提供了更全面的收敛保证。
• 理论界表明，原始子最优性、梯度误差与对偶不可行性的期望平均值的收敛速率为$\widetilde{O}(T^{-1/3})$。
• 分析证实，固定步长调度可实现与衰减调度相同的收敛速率，从而简化超参数调优。