[论文解读] Flexible development and evaluation of machine-learning-supported optimal control and estimation methods via HILO-MPC

Johannes Pohlodek, Bruno Morabito+3 more|arXiv (Cornell University)|Mar 25, 2022

Advanced Control Systems Optimization被引用 10

一句话总结

本文介绍了 HILO-MPC，这是一个开源的 Python 工具箱，可无缝集成机器学习与基于模型的最优控制和估计。通过利用 PyTorch、TensorFlow 和自定义高斯过程训练，它实现了机器学习增强的 MPC 与估计问题的灵活、高效且模块化实现，应用范围涵盖轨迹跟踪到移动时域估计，并支持线性系统的嵌入式代码生成。

ABSTRACT

Model-based optimization approaches for monitoring and control, such as model predictive control and optimal state and parameter estimation, have been used for decades in many engineering applications. Models describing the dynamics, constraints, and desired performance criteria are fundamental to model-based approaches. Thanks to recent technological advancements in digitalization, machine learning methods such as deep learning, and computing power, there has been an increasing interest in using machine learning methods alongside model-based approaches for control and estimation. The number of new methods and theoretical findings using machine learning for model-based control and optimization is increasing rapidly. This paper outlines the basic ideas and principles behind an easy-to-use Python toolbox that allows to quickly and efficiently solve machine-learning-supported optimization, model predictive control, and estimation problems. The toolbox leverages state-of-the-art machine learning libraries to train components used to define the problem. It allows to efficiently solve the resulting optimization problems. Machine learning can be used for a broad spectrum of tasks, ranging from model predictive control for stabilization, setpoint tracking, path following, and trajectory tracking to moving horizon estimation and Kalman filtering. For linear systems, it enables quick code generation for embedded MPC applications. HILO-MPC is flexible and adaptable, making it especially suitable for research and fundamental development tasks. Due to its simplicity and numerous already implemented examples, it is also a powerful teaching tool. The usability is underlined, presenting a series of application examples.

研究动机与目标

• 为开发和评估机器学习增强的最优控制与估计方法，解决缺乏灵活、开源工具的问题。
• 实现训练好的机器学习模型（神经网络、高斯过程）与基于优化的控制和估计框架之间的无缝集成。
• 通过混合模型-学习动力学，支持在模型预测控制、移动时域估计和卡尔曼滤波方面的快速原型设计与研究。
• 为控制系统的科研与教学应用，提供模块化、可扩展且用户友好的接口。
• 通过为线性系统生成高效代码，支持嵌入式 MPC 应用的实时部署。

提出的方法

• 使用高层级 Python 接口定义包含机器学习组件的最优控制与估计问题。
• 与 PyTorch 和 TensorFlow 集成，用于训练用于系统动力学、约束或代价函数的深度神经网络。
• 采用内部代码训练高斯过程，以建模系统动力学或不确定性。
• 通过直接集成到问题公式中，实现在优化问题中使用训练好的机器学习模型。
• 支持广泛的控制与估计任务，包括用于稳定、设定点跟踪和路径跟踪的 MPC。
• 为嵌入式 MPC 应用提供自动代码生成，尤其适用于线性系统，提升实时可部署性。

实验结果

研究问题

• RQ1 如何高效且灵活地将机器学习模型集成到基于模型的最优控制与估计框架中？
• RQ2 使用学习到的动力学（如神经网络、高斯过程）对 MPC 和估计算法的性能与稳定性有何影响？
• RQ3 一个统一的开源工具箱在多类应用中能否简化混合模型-学习控制策略的开发与评估？
• RQ4 该工具箱在多大程度上可通过为线性系统生成嵌入式代码，支持实时部署？
• RQ5 HILO-MPC 的模块化与易用性在多大程度上支持控制系统的科研与教学应用？

主要发现

• HILO-MPC 通过模块化、高层级的 Python 接口，实现了机器学习增强的最优控制与估计方法的快速原型设计与评估。
• 该工具箱成功将训练好的神经网络与高斯过程集成到 MPC 与估计问题中，支持轨迹跟踪和移动时域估计等多样化应用。
• 对于线性系统，HILO-MPC 支持自动生成用于嵌入式 MPC 的 C/C++ 代码，实现在资源受限平台上的实时部署。
• 该框架展现出出色的可用性与可扩展性，配备大量预实现示例，便于在科研与教学中快速采用。
• 通过利用成熟的机器学习库与优化求解器，HILO-MPC 降低了开发开销，并减少了易出错的手动实现。
• 通过一系列应用示例验证了该工具箱，证明其在非线性与约束系统等不同控制与估计任务中的灵活性。