[论文解读] An Improved Analysis of (Variance-Reduced) Policy Gradient and Natural Policy Gradient Methods

Yanli Liu, Kaiqing Zhang+2 more|arXiv (Cornell University)|Nov 15, 2022

Stochastic Gradient Optimization Techniques参考文献 36被引用 30

一句话总结

本文重新审视并强化了策略梯度（PG）、自然策略梯度（NPG）及其方差降低变体的全局收敛性分析，证明在函数字近似误差下仍可实现全局收敛，并提高了样本复杂度，同时提出了一种新的 SRVR-NPG 方法。

ABSTRACT

In this paper, we revisit and improve the convergence of policy gradient (PG), natural PG (NPG) methods, and their variance-reduced variants, under general smooth policy parametrizations. More specifically, with the Fisher information matrix of the policy being positive definite: i) we show that a state-of-the-art variance-reduced PG method, which has only been shown to converge to stationary points, converges to the globally optimal value up to some inherent function approximation error due to policy parametrization; ii) we show that NPG enjoys a lower sample complexity; iii) we propose SRVR-NPG, which incorporates variance-reduction into the NPG update. Our improvements follow from an observation that the convergence of (variance-reduced) PG and NPG methods can improve each other: the stationary convergence analysis of PG can be applied to NPG as well, and the global convergence analysis of NPG can help to establish the global convergence of (variance-reduced) PG methods. Our analysis carefully integrates the advantages of these two lines of works. Thanks to this improvement, we have also made variance-reduction for NPG possible, with both global convergence and an efficient finite-sample complexity.

研究动机与目标

• 在广义光滑策略参数化下，为 PG 和 NPG 提出动机并建立全局收敛性保证。
• 在先前工作基础上改进 NPG 和 VR-PG 方法的全局收敛速率。
• 引入 SRVR-NPG，将方差降低融入自然策略梯度。
• 证明 SRVR-PG 和 SRVR-NPG 在有限样本保证下的全局收敛性。
• 为实际强化学习设置中的样本复杂度和函数字近似偏差提供理论指导。

提出的方法

• 建立一个将平稳收敛性与更新方向的准确性联系到全局策略性能的通用收敛框架。
• 假设 Fisher 信息矩阵为正定，以实现带预条件的更新并与现有的 NPG 理论相关联。
• 对 PG 和 NPG 应用方差降低，得到 SRVR-PG 和 SRVR-NPG，并对它们的全局收敛性进行分析。
• 在标准 RL 假设下推导 PG、NPG、SRVR-PG 和 SRVR-NPG 的非渐近样本复杂度结果。
• 结合截断的 GPOMDP 估计量与重要性加权修正，以实现有限样本分析。

实验结果

研究问题

• RQ1 在函数字近似误差下，方差降低的 PG 方法（SRVR-PG）是否能够达到全局收敛到近似最优策略？
• RQ2 将自然策略梯度（NPG）与方差降低相结合时，是否能获得更好的全局收敛速率和样本复杂度？
• RQ3 Fisher 信息矩阵的正定性如何影响 PG/NPG 方法的收敛性与样本复杂度？
• RQ4 要在到偏差项等于最优解的偏差内保证策略性能，需要的有限样本要求（轨迹、评估时间步长、迭代次数）有哪些？

主要发现

• SRVR-PG 在函数近似误差范围内实现全局收敛，样本复杂度为 O(ε^{-3})。
• 在所提出框架下，NPG 实现更好的全局收敛，样本复杂度为 O(ε^{-3}) 或更好，优于先前的 O(ε^{-4}) 结果。
• SRVR-NPG 将方差降低扩展到 NPG，在有限样本保证下实现全局收敛，且与改进后的 NPG 结果相当。
• 在假设 Fisher 信息矩阵正定的前提下，分析显示平稳收敛与全局收敛分析可以相互启发，适用于 PG 和 NPG。
• 本文证明方差降低可以整合到 NPG 中，从而实现高效的全局收敛，具有实际可用的样本复杂度。
• 对 Cartpole 和 Mountain Car 的数值实验表明，在所测试的方法中 SRVR-NPG 提供了最佳的经验性能。