[论文解读] Global Optimality Guarantees For Policy Gradient Methods

Jalaj Bhandari, Daniel Russo|arXiv (Cornell University)|Jun 5, 2019

Stochastic Gradient Optimization Techniques被引用 23

一句话总结

本文通过识别马尔可夫决策过程（MDPs）的结构性质，为策略梯度方法建立了全局收敛性保证，这些性质确保即使在非凸情况下，策略梯度目标函数也不存在次优驻点。研究表明，在这些条件下，策略梯度方法可收敛至全局最优解，并满足Polyak–Łojasiewicz条件，从而实现快速收敛速率。

ABSTRACT

Policy gradients methods apply to complex, poorly understood, control problems by performing stochastic gradient descent over a parameterized class of polices. Unfortunately, even for simple control problems solvable by standard dynamic programming techniques, policy gradient algorithms face non-convex optimization problems and are widely understood to converge only to a stationary point. This work identifies structural properties -- shared by several classic control problems -- that ensure the policy gradient objective function has no suboptimal stationary points despite being non-convex. When these conditions are strengthened, this objective satisfies a Polyak-lojasiewicz (gradient dominance) condition that yields convergence rates. We also provide bounds on the optimality gap of any stationary point when some of these conditions are relaxed.

研究动机与目标

• 解决策略梯度方法在非凸目标函数下仅收敛至次优驻点的长期难题。
• 识别MDPs的结构性质，以消除策略梯度目标函数中的不良局部极小值。
• 建立策略梯度方法实现全局收敛与快速收敛速率的条件。
• 将策略梯度优化与策略迭代联系起来，利用其结构性优势以获得更优的收敛性保证。
• 在理想条件被放宽时，提供对最优性差距的界，为实际应用提供实用洞见。

提出的方法

• 提出一种新框架，将策略梯度目标与策略迭代联系起来，表明单期问题中的有利结构性质可传播至全局优化景观。
• 在策略类上定义一个条件——称为固有贝尔曼误差——以确保策略梯度目标函数中不存在次优驻点。
• 证明当固有贝尔曼误差为零时，目标函数满足Polyak–Łojasiewicz（PL）条件，从而实现线性收敛速率。
• 以状态聚合为例，表明在足够精细的划分和光滑动态条件下，固有贝尔曼误差可被任意缩小。
• 采用统一近似界（引理15）来量化在Lipschitz连续代价函数与转移函数下的策略近似误差。
• 分析策略类的丰富性与不同策略下满足策略改进条件之间的权衡关系。

实验结果

研究问题

• RQ1 在何种MDP结构性条件下，即使目标函数为非凸，策略梯度目标函数也不存在次优驻点？
• RQ2 在弱于完整策略类丰富性的条件下，策略梯度方法能否实现向最优策略的全局收敛？
• RQ3 在优化景观特性方面，策略迭代与策略梯度方法之间存在何种关系？
• RQ4 策略类中的固有贝尔曼误差如何影响策略梯度目标函数中不良局部极小值的存在？
• RQ5 当目标函数满足由MDP结构性质导出的Polyak–Łojasiewicz条件时，可保证何种收敛速率？

主要发现

• 若策略类满足固有贝尔曼误差为零的条件，则策略梯度目标函数中不存在次优驻点。
• 当固有贝尔曼误差为零时，目标函数满足Polyak–Łojasiewicz（PL）条件，从而可实现梯度下降的线性收敛速率。
• 对于具有足够精细划分和Lipschitz连续动态的状态聚合策略，固有贝尔曼误差可被有界为与状态与其代表点间最大距离成正比的项。
• 固有贝尔曼误差的界为 $ \epsilon = 2\sup_{s,a} \left[ |g(s,a) - g(\phi(s),a)| + \frac{\gamma}{1-\gamma}\|P(\cdot|s,a) - P(\cdot|\phi(s),a)\|_{\text{TV}} \right] $，当划分趋于精细时趋于零。
• 即使理想条件被放宽，本文仍为任意驻点的最优性差距提供了界，从而提供实用的性能保证。
• 该框架通过识别消除不良局部极小值的共享结构性质，将特定问题（如线性二次控制、库存控制）的成功与一般非凸性挑战相统一。