[论文解读] Feedback Linearization for Unknown Systems via Reinforcement Learning

Tyler Westenbroek, David Fridovich-Keil+5 more|arXiv (Cornell University)|Oct 29, 2019

Advanced Control Systems Optimization参考文献 34被引用 18

一句话总结

本文提出一种无模型强化学习方法，通过在名义模型基础上引入学习到的仿射校正项，实现对未知非线性系统的反馈线性化控制器学习。利用连续时间优化与策略梯度方法，该框架确保了凸性并收敛至真实线性化控制器，在模拟与真实机器人系统上均实现了优异的跟踪性能，且具备实际的数据效率。

ABSTRACT

We present a novel approach to control design for nonlinear systems which leverages model-free policy optimization techniques to learn a linearizing controller for a physical plant with unknown dynamics. Feedback linearization is a technique from nonlinear control which renders the input-output dynamics of a nonlinear plant \emph{linear} under application of an appropriate feedback controller. Once a linearizing controller has been constructed, desired output trajectories for the nonlinear plant can be tracked using a variety of linear control techniques. However, the calculation of a linearizing controller requires a precise dynamics model for the system. As a result, model-based approaches for learning exact linearizing controllers generally require a simple, highly structured model of the system with easily identifiable parameters. In contrast, the model-free approach presented in this paper is able to approximate the linearizing controller for the plant using general function approximation architectures. Specifically, we formulate a continuous-time optimization problem over the parameters of a learned linearizing controller whose optima are the set of parameters which best linearize the plant. We derive conditions under which the learning problem is (strongly) convex and provide guarantees which ensure the true linearizing controller for the plant is recovered. We then discuss how model-free policy optimization algorithms can be used to solve a discrete-time approximation to the problem using data collected from the real-world plant. The utility of the framework is demonstrated in simulation and on a real-world robotic platform.

研究动机与目标

• 解决在精确动力学未知或难以建模时，设计非线性系统反馈线性化控制器的挑战。
• 克服基于模型的反馈线性化方法的局限性，后者需要精确的系统模型且对建模误差敏感。
• 开发一种数据高效、无模型的方法，利用函数逼近与策略优化，直接从系统数据中学习线性化控制器。
• 在较弱的结构假设下，为凸性与收敛至真实线性化控制器提供理论保证。
• 通过仿真与真实机器人实验，证明方法在极少先验模型知识下的实际适用性。

提出的方法

• 该方法从一个名义上的基于模型的线性化控制器出发，并添加一个由神经网络参数化的学习到的仿射校正项。
• 构建一个连续时间优化问题，以最小化实际与期望线性化动力学之间的误差，损失函数定义为输出轨迹偏差的平方。
• 在所用学习分量中基函数线性无关的条件下，证明该优化问题具有（强）凸性。
• 该凸性条件与自适应控制中的持久激励概念相关联，确保学习过程唯一且稳定。
• 使用现成的策略优化算法（如PPO）对优化问题的离散时间近似进行求解，训练数据来自真实世界的轨迹 rollout。
• 该框架允许任意函数逼近（如神经网络），且在训练过程中避免了奇异问题，与传统自适应方法不同。

实验结果

研究问题

• RQ1 无模型强化学习方法能否有效学习未知非线性系统的反馈线性化控制器？
• RQ2 在何种条件下，线性化控制器的学习问题具有凸性，从而保证收敛至最优解？
• RQ3 如何利用函数逼近与策略梯度方法，以数据高效的方式求解连续时间优化问题？
• RQ4 在仿真与真实机器人系统中，学习到的控制器相比名义模型控制器的性能提升如何？
• RQ5 当名义模型不准确时，引入学习到的校正项如何改善跟踪性能？

主要发现

• 若学习分量中的基函数线性无关，则所提出的优化问题为强凸，可保证唯一收敛至最优控制器。
• 该框架通过避免直接求解系统矩阵的逆，实现了无奇异性的训练过程，与传统自适应控制方法不同。
• 在仿真中，学习到的控制器显著降低了在5秒方波参考信号下的稳态误差，优于名义模型控制器。
• 在真实机器人平台上，使用1250次单步rollout（每次0.05秒）进行100次训练周期，耗时104分钟，实现了具有实际数据效率的改进跟踪性能。
• 学习后剩余的跟踪误差表明，神经网络的表达能力可能不足，提示需要更强大的函数逼近器。
• 该方法成功结合了几何控制理论与无模型强化学习，为不确定系统提供了鲁棒且高效的控制设计方法。