[论文解读] A general sample complexity analysis of vanilla policy gradient

Rui Yuan, Robert M. Gower+1 more|arXiv (Cornell University)|Jul 23, 2021

Stochastic Gradient Optimization Techniques参考文献 39被引用 7

一句话总结

本文通过引入梯度方差的新型ABC假设，对原始策略梯度（PG）方法进行了通用的样本复杂度分析，该假设涵盖了常见的有界梯度假设。在收敛至一阶平稳点时，建立了紧致的 $\tilde{\rm O}(\epsilon^{-4})$ 样本复杂度，而在较弱的梯度支配条件下，收敛至全局最优时达到 $\tilde{\rm O}(\epsilon^{-3})$，从而实现了更广泛的超参数灵活性，包括单轨迹学习。

ABSTRACT

We adapt recent tools developed for the analysis of Stochastic Gradient Descent (SGD) in non-convex optimization to obtain convergence and sample complexity guarantees for the vanilla policy gradient (PG). Our only assumptions are that the expected return is smooth w.r.t. the policy parameters, that its $H$-step truncated gradient is close to the exact gradient, and a certain ABC assumption. This assumption requires the second moment of the estimated gradient to be bounded by $A\geq 0$ times the suboptimality gap, $B \geq 0$ times the norm of the full batch gradient and an additive constant $C \geq 0$, or any combination of aforementioned. We show that the ABC assumption is more general than the commonly used assumptions on the policy space to prove convergence to a stationary point. We provide a single convergence theorem that recovers the $\widetilde{\mathcal{O}}(ε^{-4})$ sample complexity of PG to a stationary point. Our results also affords greater flexibility in the choice of hyper parameters such as the step size and the batch size $m$, including the single trajectory case (i.e., $m=1$). When an additional relaxed weak gradient domination assumption is available, we establish a novel global optimum convergence theory of PG with $\widetilde{\mathcal{O}}(ε^{-3})$ sample complexity. We then instantiate our theorems in different settings, where we both recover existing results and obtain improved sample complexity, e.g., $\widetilde{\mathcal{O}}(ε^{-3})$ sample complexity for the convergence to the global optimum for Fisher-non-degenerated parametrized policies.

研究动机与目标

• 为强化学习中原始策略梯度（PG）方法的样本复杂度提供统一的理论框架。
• 通过引入梯度方差的ABC假设，弱化收敛性保证所需的假设条件，该假设推广了现有的有界梯度型假设。
• 在收敛至一阶平稳点（FOSP）以及在附加条件下收敛至全局最优时，建立紧致的样本复杂度边界。
• 在保持收敛性保证的前提下，实现更广泛的超参数选择，包括单轨迹学习（批量大小 $m=1$）。
• 在特定设置下（如softmax和log-barrier参数化）恢复并改进已有结果。

提出的方法

• 提出ABC假设，即通过子优差距、全批量梯度范数和常数的线性组合来限制估计梯度的二阶矩。
• 将非凸随机优化（如SGD分析）中的工具适配到ABC假设下的PG分析中，利用期望回报的光滑性以及$H$-步梯度的截断误差。
• 推导出一个统一的收敛定理，涵盖在ABC假设和光滑性条件下REINFORCE与GPOMDP变体的分析。
• 采用自适应步长规则（如 $\eta_t = \min(1/b, 2/(\mu(t - t_0 + 2b/\mu))$）以平衡收敛速度与方差控制。
• 在较弱的弱梯度支配假设下建立全局收敛性，从而实现更优的样本复杂度。
• 在具体设置（如softmax、log-barrier、表格型、LQR）中实例化一般定理，以恢复或改进先前结果。

实验结果

研究问题

• RQ1 能否为原始PG开发一种通用且统一的收敛性分析，使其涵盖现有假设并改进样本复杂度？
• RQ2 ABC假设在一般性和适用性方面相较于PG分析中常用的有界梯度假设如何？
• RQ3 在ABC假设下，PG的样本复杂度边界（特别是收敛至一阶平稳点）可推导出何种结果？
• RQ4 该分析能否扩展至全局收敛性？在较弱的梯度支配条件下，可实现何种样本复杂度？
• RQ5 在特定策略参数化（如softmax、log-barrier）下，该通用框架是否能获得比以往工作更紧或更优的样本复杂度？

主要发现

• 在ABC假设下，本文建立了收敛至一阶平稳点的 $\tilde{\rm O}(\epsilon^{-4})$ 样本复杂度，该结果在某些设置下比先前结果更紧致。
• ABC假设被证明比标准有界梯度假设更具一般性，并可将其作为特例包含在内。
• 该分析允许灵活的超参数选择，包括单轨迹学习（$m=1$），并恢复了精确PG的 ${\rm O}(\epsilon^{-2})$ 复杂度。
• 在较弱的弱梯度支配假设下，本文首次实现了收敛至全局最优的 $\tilde{\rm O}(\epsilon^{-3})$ 样本复杂度，优于先前结果。
• 该框架在特定设置下恢复并改进了已有样本复杂度边界，例如在softmax与log-barrier结合时达到 $\tilde{\rm O}(\epsilon^{-6})$（相比之前需额外步数的 $\tilde{\rm O}(\epsilon^{-6})$ 结果实现改进），在Fisher非退化策略下实现 $\tilde{\rm O}(\epsilon^{-3})$。
• 该分析具有足够的通用性，可恢复表格型策略、LQR和投影PG等设置中的已知结果，同时扩展了有效超参数的范围。