[论文解读] Learning Certified Control using Contraction Metric

Dawei Sun, Susmit Jha+1 more|arXiv (Cornell University)|Nov 25, 2020

Advanced Control Systems Optimization参考文献 59被引用 15

一句话总结

该论文提出了一种学习框架，联合合成基于神经网络的控制器与控制仿射系统的收缩度量，确保在扰动下具有收敛性和有界跟踪误差。通过使用收缩度量理论共同优化控制器与度量，该方法在无需结构假设的情况下提供形式化保证，在跟踪精度和速度方面优于平方和优化、强化学习与模型预测控制。

ABSTRACT

In this paper, we solve the problem of finding a certified control policy that drives a robot from any given initial state and under any bounded disturbance to the desired reference trajectory, with guarantees on the convergence or bounds on the tracking error. Such a controller is crucial in safe motion planning. We leverage the advanced theory in Control Contraction Metric and design a learning framework based on neural networks to co-synthesize the contraction metric and the controller for control-affine systems. We further provide methods to validate the convergence and bounded error guarantees. We demonstrate the performance of our method using a suite of challenging robotic models, including models with learned dynamics as neural networks. We compare our approach with leading methods using sum-of-squares programming, reinforcement learning, and model predictive control. Results show that our methods indeed can handle a broader class of systems with less tracking error and faster execution speed. Code is available at https://github.com/sundw2014/C3M.

研究动机与目标

• 开发一种认证控制策略，确保在扰动下机器人系统具有收敛性和有界跟踪误差。
• 在不施加系统动力学结构假设的前提下，协同合成神经网络控制器与收缩度量。
• 利用利普希茨连续性与基于优化的验证方法，提供收敛性与误差界的形式化验证。
• 在复杂且不确定的环境中实现安全运动规划，同时具备高性能跟踪能力。
• 克服现有方法（如平方和规划）的局限性，后者要求多项式动力学与结构假设。

提出的方法

• 将控制器与收缩度量均建模为深度神经网络，通过基于控制收缩度量（CCM）理论推导的损失函数进行联合训练。
• 在训练过程中通过约束强制满足CCM条件，以确保增量稳定性和有界跟踪误差。
• 利用CCM的利普希茨连续性，为闭环系统提供确定性收敛保证。
• 采用基于优化的方法验证基于测地线的控制器，确保即使在精确测地线难以计算时仍具备鲁棒性。
• 利用CCM框架实现对任意参考轨迹的跟踪，而无需进行误差动力学变换。
• 通过将学习到的动力学表示为神经网络，支持系统具有学习到的动力学，实现端到端训练并附带形式化保证。

实验结果

研究问题

• RQ1 能否联合学习基于神经网络的控制器与收缩度量，以确保在扰动下具有有界跟踪误差？
• RQ2 在非线性、控制仿射系统的学习型控制框架中，如何保证形式化的收敛性与误差界？
• RQ3 该方法是否在跟踪精度与计算效率方面优于平方和规划、强化学习与模型预测控制？
• RQ4 该框架在多大程度上能够处理以神经网络表示的、具有学习到的动力学的系统？
• RQ5 对系统动力学缺乏结构假设是否限制了该方法的适用性或性能？

主要发现

• 与平方和规划、强化学习及模型预测控制相比，该方法在基准机器人系统上实现了更低的跟踪误差。
• 该框架的执行速度显著快于现有方法，尤其有利于实时运动规划。
• 通过学习到的收缩度量的利普希茨连续性，提供了形式化的收敛性与有界误差保证。
• 该方法成功处理了具有神经网络学习到的动力学的系统，扩展了其在复杂真实机器人模型中的适用性。
• 控制器与度量的联合优化消除了对事后测地线计算的需求，降低了计算开销。
• 验证实验表明，学习到的控制器在各类机器人系统中，于有界扰动下仍能保持有界跟踪误差。