[论文解读] Global Convergence of Policy Gradient Methods for Linearized Control Problems.

Maryam Fazel, Rong Ge+2 more|arXiv (Cornell University)|Feb 15, 2018

Advanced Control Systems Optimization被引用 29

一句话总结

本文建立了线性化控制问题中策略梯度方法的全局收敛性以及多项式样本/计算效率，具体针对线性二次调节器（LQR）问题。证明了无需系统辨识，基于模型的策略梯度方法即可收敛至最优策略，弥合了基于模型与无模型最优控制之间的理论差距。

ABSTRACT

Direct policy gradient methods for reinforcement learning and continuous control problems are a popular approach for a variety of reasons: 1) they are easy to implement without explicit knowledge of the underlying model 2) they are an end-to-end approach, directly optimizing the performance metric of interest 3) they inherently allow for richly parameterized policies. A notable drawback is that even in the most basic continuous control problem (that of linear quadratic regulators), these methods must solve a non-convex optimization problem, where little is understood about their efficiency from both computational and statistical perspectives. In contrast, system identification and model based planning in optimal control theory have a much more solid theoretical footing, where much is known with regards to their computational and statistical properties. This work bridges this gap showing that (model free) policy gradient methods globally converge to the optimal solution and are efficient (polynomially so in relevant problem dependent quantities) with regards to their sample and computational complexities.

研究动机与目标

• 解决连续控制中策略梯度方法缺乏理论理解的问题，特别是其收敛性与样本效率。
• 研究无模型策略梯度方法是否能在线性二次调节器（LQR）问题中实现全局收敛与多项式时间效率。
• 弥合无模型强化学习与具有更强理论保证的基于模型最优控制之间的理论差距。
• 证明策略梯度方法可在LQR设置中达到系统辨识与基于模型规划的计算与统计效率。

提出的方法

• 在典型的连续控制问题——线性二次调节器（LQR）的背景下分析策略梯度更新。
• 采用线性反馈控制器形式的策略参数化，实现对控制增益的直接优化。
• 证明在LQR设置下，策略梯度目标函数在全局范围内表现良好，不存在虚假局部最优解。
• 使用平滑、可微的策略参数化，实现基于梯度的优化，而无需显式依赖系统动力学。
• 应用非凸优化与控制理论的工具，证明收敛至全局最优解。
• 证明所需样本数与迭代次数在系统维度与条件数等与问题相关的参数下呈多项式增长。

实验结果

研究问题

• RQ1 策略梯度方法是否能在线性二次调节器（LQR）问题中实现全局收敛至最优策略？
• RQ2 策略梯度方法在LQR设置下的样本与计算复杂度是多少？
• RQ3 从理论保证的角度看，无模型策略梯度方法与基于模型的方法相比表现如何？
• RQ4 在何种条件下，策略梯度方法可避免连续控制问题中的不良局部最优解？
• RQ5 能否证明在参数化控制问题中，策略梯度方法的收敛具有多项式样本与时间复杂度？

主要发现

• 尽管目标函数具有非凸性，策略梯度方法在LQR问题中仍能实现全局收敛至最优策略。
• 收敛过程具有可证明的高效性，样本与计算复杂度在相关问题依赖参数下呈多项式增长。
• LQR中的策略梯度目标函数不存在虚假局部最优解，确保梯度上升能稳定到达全局最优。
• 该方法无需系统辨识或对环境动力学的显式知识即可实现最优性能。
• 理论保证与基于模型的最优控制方法相当或接近，填补了关键理论空白。
• 研究结果表明，无模型策略梯度方法不仅具有实用性，而且在参数化控制问题中具有坚实的理论基础。