[论文解读] Gaussian Process-based Min-norm Stabilizing Controller for Control-Affine Systems with Uncertain Input Effects.

Fernando Castañeda, Jason J. Choi+3 more|arXiv (Cornell University)|Nov 14, 2020

Gaussian Processes and Bayesian Inference被引用 5

一句话总结

本文提出了一种基于凸优化的控制器，用于控制仿射系统在动态不确定性情况下的控制问题，通过将高斯过程回归与控制李雅普诺夫函数（CLF）相结合。该方法引入了一种复合核，以联合建模状态和输入不确定性，利用高斯过程的上置信度边界构建机会约束的最小范数问题，并通过凸的GP-CLF-SOCP公式实现可证明的稳定性，仿真验证了倒立摆和自行车模型的性能，接近于已知真实动态下的表现。

ABSTRACT

This paper presents a method to design a min-norm Control Lyapunov Function (CLF)-based stabilizing controller for a control-affine system with uncertain dynamics using Gaussian Process (GP) regression. We propose a novel compound kernel that captures the control-affine nature of the problem, which permits the estimation of both state and input-dependent model uncertainty in a single GP regression problem. Furthermore, we provide probabilistic guarantees of convergence by the use of GP Upper Confidence Bound analysis and the formulation of a CLF-based stability chance constraint which can be incorporated in a min-norm optimization problem. We show that this resulting optimization problem is convex, and we call it Gaussian Process-based Control Lyapunov Function Second-Order Cone Program (GP-CLF-SOCP). The data-collection process and the training of the GP regression model are carried out in an episodic learning fashion. We validate the proposed algorithm and controller in numerical simulations of an inverted pendulum and a kinematic bicycle model, resulting in stable trajectories which are very similar to the ones obtained if we actually knew the true plant dynamics.

研究动机与目标

• 解决在输入动态不确定且部分已知时，稳定控制仿射系统的挑战。
• 开发一种数据高效的框架，通过单一高斯过程回归模型捕捉状态和输入相关的不确定性。
• 利用高斯过程上置信度边界和机会约束，为控制器提供概率收敛保证。
• 构建一个凸优化问题——GP-CLF-SOCP——在保持不确定条件下稳定性的前提下，确保最小范数的控制输入。
• 在仿真中验证控制器性能，采用真实动态模型，展示其稳定性接近于已知真实动态下的表现。

提出的方法

• 提出一种新颖的复合核，编码控制仿射结构，实现通过单一高斯过程回归联合估计状态和输入相关模型不确定性。
• 利用高斯过程上置信度边界量化学习动态中的不确定性，从而实现概率稳定性保证。
• 将机会约束的控制李雅普诺夫函数（CLF）条件融入最小范数优化问题，以确保以高概率实现稳定性。
• 将稳定性与控制最小化问题重新表述为第二类锥规划（SOCP），确保凸性并实现在线优化的可处理性。
• 采用分阶段学习框架进行数据收集和迭代式高斯过程模型重训练，以随时间改善不确定性估计。
• 在每个时间步求解所得的GP-CLF-SOCP，以计算在不确定性下具有最小范数的稳定控制输入。

实验结果

研究问题

• RQ1 单一高斯过程回归模型能否有效捕捉控制仿射系统中状态和输入相关的不确定性？
• RQ2 如何将基于高斯过程的不确定性量化与控制李雅普诺夫函数结合，以确保概率稳定性？
• RQ3 是否可以构建一个凸优化问题，将最小范数控制与模型不确定性下的机会约束稳定性相结合？
• RQ4 当真实动态未知但通过高斯过程回归估计时，所得控制器的性能如何？
• RQ5 分阶段学习过程如何随时间提升控制器的收敛性和稳定性？

主要发现

• 所提出的GP-CLF-SOCP公式化为凸优化问题，支持高效可靠的在线控制计算。
• 控制器在倒立摆和运动学自行车模型中均实现了稳定轨迹，性能接近于已知真实动态下的表现。
• 复合核的使用实现了对状态和输入不确定性的精确联合建模，相比分别建模方法显著提升了估计保真度。
• 通过高斯过程上置信度边界分析，提供了概率收敛保证，确保在不确定性下以高概率实现稳定性。
• 分阶段学习过程随时间提升了模型准确性，从而带来更好的控制性能和更小的估计动态不确定性。
• 控制器在保持低控制努力（最小范数）的同时确保稳定性，展示了性能与鲁棒性之间的良好权衡。