[论文解读] Combining Model-Based and Model-Free Methods for Nonlinear Control: A Provably Convergent Policy Gradient Approach

Guannan Qu, Chenkai Yu+2 more|arXiv (Cornell University)|Jun 12, 2020

Iterative Learning Control Systems参考文献 49被引用 11

一句话总结

本文提出了一种混合控制框架，通过将基于模型的方法与无模型方法结合，用于非线性系统控制。该方法利用基于线性模型的控制器作为无模型策略梯度方法的热启动，证明在非线性分量满足温和条件时，可收敛至近乎全局最优控制器，融合了基于模型控制的样本效率与无模型学习的灵活性。

ABSTRACT

Model-free learning-based control methods have seen great success recently. However, such methods typically suffer from poor sample complexity and limited convergence guarantees. This is in sharp contrast to classical model-based control, which has a rich theory but typically requires strong modeling assumptions. In this paper, we combine the two approaches to achieve the best of both worlds. We consider a dynamical system with both linear and non-linear components and develop a novel approach to use the linear model to define a warm start for a model-free, policy gradient method. We show this hybrid approach outperforms the model-based controller while avoiding the convergence issues associated with model-free approaches via both numerical experiments and theoretical analyses, in which we derive sufficient conditions on the non-linear component such that our approach is guaranteed to converge to the (nearly) global optimal controller.

研究动机与目标

• 为解决无模型控制的局限性，如样本复杂度差和缺乏收敛性保证，特别是在非线性系统中。
• 克服基于模型控制的不足，后者依赖于强参数假设，且在模型不准确时会失效。
• 在非线性控制中理论统一基于模型与无模型方法，实现样本效率与收敛性保证的兼顾。
• 建立充分条件，使混合策略梯度方法收敛至近乎全局最优控制器。

提出的方法

• 系统建模为线性分量（适合基于模型控制）与非参数非线性分量之和。
• 首先基于系统的线性部分设计一个基于模型的状态反馈控制器，作为策略梯度方法的热启动。
• 随后将策略梯度方法应用于完整的非线性系统，初始化为基于模型的控制器。
• 理论分析表明，基于模型的控制器位于包含全局最小值的凸区域中。
• 梯度估计采用零阶随机逼近，对控制器增益矩阵施加随机扰动。
• 在梯度的Lipschitz连续性和代价函数有界性的条件下，通过Hoeffding不等式证明了高概率收敛。

实验结果

研究问题

• RQ1 基于模型与无模型方法能否结合，实现在非线性控制中的样本效率与收敛性保证？
• RQ2 在非线性分量满足何种条件下，混合策略梯度方法可收敛至近乎全局最优控制器？
• RQ3 基于模型控制器的热启动是否对收敛至关重要？无模型方法是否可在无先验模型信息的情况下收敛？
• RQ4 非线性系统在状态反馈控制器空间中的代价函数景观行为如何？

主要发现

• 基于模型的控制器位于包含（近乎）全局最小值的凸区域中，作为热启动可确保收敛。
• 在数值实验中，混合方法优于纯基于模型的控制，且避免了纯无模型方法的收敛问题。
• 在轨迹衰减与代价有界性假设下，利用Hoeffding不等式可高概率地有界梯度估计误差。
• 对非线性分量的充分条件——即梯度的有界性与Lipschitz连续性——可保证收敛至近乎全局最优控制器。
• 在轨迹数与扰动数的显式样本复杂度界下，该方法可实现高概率收敛。