[论文解读] A Note on the Linear Convergence of Policy Gradient Methods.

Jalaj Bhandari, Daniel Russo|arXiv (Cornell University)|Jul 21, 2020

Stochastic Gradient Optimization Techniques参考文献 18被引用 19

一句话总结

本文在有限MDP中，针对完整策略类与精确梯度，重新评估了策略梯度方法，表明其在使用大步长时可实现线性收敛——这与近期观点认为其为平滑优化且收敛速率亚线性相矛盾。关键洞见在于通过策略迭代视角解释，从而实现更快且全局收敛的更新。

ABSTRACT

We revisit the finite time analysis of policy gradient methods in the simplest setting: finite state and action problems with a policy class consisting of all stochastic policies and with exact gradient evaluations. Some recent works have viewed these problems as instances of smooth nonlinear optimization problems, suggesting suggest small stepsizes and showing sublinear convergence rates. This note instead takes a policy iteration perspective and highlights that many versions of policy gradient succeed with extremely large stepsizes and attain a linear rate of convergence.

研究动机与目标

• 将策略梯度方法重新表述为非平滑优化，而是作为策略迭代的变体，以更好地理解其收敛行为。
• 挑战当前普遍认为在有限MDP中策略梯度固有地依赖小步长与亚线性收敛速率的观点。
• 证明在精确梯度评估与完整策略类下，使用大步长可实现线性收敛速率。
• 通过强调策略空间的结构性质，澄清策略梯度收敛的理论基础。
• 提供一种新的分析框架，解释在简单设置中大步长策略梯度为何能取得经验上的成功。

提出的方法

• 分析有限状态-动作MDP中的策略梯度方法，采用完整随机策略集合作为策略类。
• 通过利用策略梯度的结构与概率单纯形的几何特性，将策略更新视为一种策略迭代形式。
• 使用精确梯度评估以消除随机性，从而隔离收敛动力学。
• 应用李雅普诺夫风格分析，证明在大步长下，到最优策略的距离每步线性减少。
• 表明收敛速率由费雪信息矩阵的最小特征值决定，从而实现线性收敛。
• 将策略迭代视角与标准平滑优化分析进行对比，表明后者低估了收敛速度。

实验结果

研究问题

• RQ1 在使用大步长时，策略梯度方法是否可在有限MDP中实现线性收敛？
• RQ2 为何近期研究尽管观察到快速收敛，却报告了亚线性收敛速率？
• RQ3 与平滑优化视角相比，策略迭代视角如何改进对策略梯度收敛性的分析？
• RQ4 策略空间的哪些结构性质使得在大步长下可实现线性收敛？
• RQ5 在何种条件下，策略梯度更新行为类似于策略迭代步骤？

主要发现

• 在精确梯度与完整策略类下，策略梯度方法即使使用大步长，也能实现线性收敛。
• 收敛速率是线性的，意味着误差随每次迭代几何级减少，而非标准平滑优化中的亚线性减少。
• 分析表明，该方法在结构上类似于策略迭代算法，从而合理解释了其快速收敛。
• 大步长不仅被允许，而且是实现线性收敛速率的必要条件，这与普遍建议使用小步长的观点相矛盾。
• 收敛速率取决于费雪信息矩阵的最小特征值，该值决定了收敛速度。
• 研究结果挑战了策略梯度本质上缓慢的假设，提示应重新评估基于平滑优化框架的理论分析。