[论文解读] Global Convergence of Policy Gradient Methods for the Linear Quadratic Regulator

Maryam Fazel, Rong Ge+2 more|arXiv (Cornell University)|Jan 15, 2018

Advanced Control Systems Optimization被引用 240

一句话总结

论文证明，对无限地平线线性二次调节器（LQR）的模型驱动和模型无关策略梯度方法在全局收敛到最优策略，且具备多项式时间的样本和计算复杂度，并显示自然策略梯度可提升收敛速率。

ABSTRACT

Direct policy gradient methods for reinforcement learning and continuous control problems are a popular approach for a variety of reasons: 1) they are easy to implement without explicit knowledge of the underlying model 2) they are an "end-to-end" approach, directly optimizing the performance metric of interest 3) they inherently allow for richly parameterized policies. A notable drawback is that even in the most basic continuous control problem (that of linear quadratic regulators), these methods must solve a non-convex optimization problem, where little is understood about their efficiency from both computational and statistical perspectives. In contrast, system identification and model based planning in optimal control theory have a much more solid theoretical footing, where much is known with regards to their computational and statistical properties. This work bridges this gap showing that (model free) policy gradient methods globally converge to the optimal solution and are efficient (polynomially so in relevant problem dependent quantities) with regards to their sample and computational complexities.

研究动机与目标

• 通过在 LQR 设置中建立策略梯度方法的全局收敛性保证，弥合强化学习与经典最优控制之间的差距。
• 证明无论是精确的还是模型无关（零阶）策略梯度方法都将收敛到最优策略，且样本和计算复杂度均为多项式。
• 证明在这一非凸 setting 下，自然策略梯度相较于简单梯度方法具有更快的收敛速率。

提出的方法

• 将无限地平线的 LQR 表述为 x_{t+1}=A x_t,B u_t 和二次成本，Q 与 R 为正定矩阵。
• 当策略线性时，成本 C(K) 表达为 u_t=-K x_t，其中 P_K 求解其李雅普诺夫样式方程且 C(K)=E_{x0}[x0^T P_K x0]。
• 推导策略梯度 ∇C(K)=2E_K Σ_K，其中 E_K=((R+B^T P_K B)K - B^T P_K A) 且 Σ_K 为状态相关矩阵。
• 通过梯度支配与几乎光滑性分析非凸优化景观，以在存在非凸性的情况下展示全局收敛性质。
• 证明三种精确更新规则的全局收敛性：(i) 梯度下降，(ii) 自然策略梯度，(iii) Gauss-Newton，给出明确的迭代次数/复杂度界。
• 推广到模型无关设定，使用随机扰动和 rollout 的零阶估计梯度和 Σ_K，证明收敛的样本复杂度为多项式。
• 给出高层次证明策略，表明只要 rollout 长度足够且估计准确，即使梯度来自样本估计，梯度更新也能收敛到最优解。

实验结果

研究问题

• RQ1 在非凸性下，LQR 目标上的策略梯度是否收敛到全局最优解？
• RQ2 模型无关、基于样本的策略梯度方法是否能在多项式时间内实现全局最优？
• RQ3 自然策略梯度在 LQR 问题上的收敛速度与标准梯度方法相比如何？
• RQ4 在模型无关设定下，保证成立所需的条件有哪些（如初始策略的稳定性、数据分布等）？
• RQ5 Gauss-Newton 型更新在此框架下能否带来更强的收敛性结果？

主要发现

• 在适当步长下，精确梯度方法实现全球收敛到最优策略，并给出可证明的收敛速率。
• 在给定假设下，模型无关（零阶）策略梯度与自然策略梯度在多项式的计算和样本复杂度下达到全局最优。
• 在该 LQR 设置下，自然策略梯度提供了比简单梯度下降更快的收敛速率。
• Gauss-Newton 更新在所考察的方法中提供了最强的理论收敛保证。
• 该分析将最优控制理论、一次/零阶优化以及基于样本的强化学习结合起来，以桥接模型驱动与模型无关的方法。