[论文解读] A Convex Approach to Data-driven Optimal Control via Perron-Frobenius and Koopman Operators

Bowen Huang, Umesh Vaidya|arXiv (Cornell University)|Oct 5, 2020

Model Reduction and Neural Networks被引用 6

一句话总结

该论文提出了一种基于Perron-Frobenius（P-F）算子与Koopman算子的凸、数据驱动最优控制框架，适用于非线性系统。通过利用密度函数与P-F算子之间的对偶性，将无限时域最优控制问题转化为无限维凸优化问题，再通过数据驱动的Koopman算子学习进行近似，从而在无需已知系统模型的情况下，实现稳定且全局最优的控制。

ABSTRACT

The paper is about the data-driven computation of optimal control for a class of control affine deterministic nonlinear systems. We assume that the control dynamical system model is not available, and the only information about the system dynamics is available in the form of time-series data. We provide a convex formulation for the optimal control problem of the nonlinear system. The convex formulation relies on the duality result in the dynamical system's stability theory involving density function and Perron-Frobenius operator. We formulate the optimal control problem as an infinite-dimensional convex optimization program. The finite-dimensional approximation of the optimization problem relies on the recent advances made in the Koopman operator's data-driven computation, which is dual to the Perron-Frobenius operator. Simulation results are presented to demonstrate the application of the developed framework.

研究动机与目标

• 解决在系统模型未知、仅依赖时间序列数据时，非线性系统的最优控制挑战。
• 在密度函数的对偶空间中建立最优控制问题的凸形式化，以实现高效计算。
• 通过所提出的凸优化框架确保闭环系统的几乎处处一致稳定性。
• 通过利用P-F算子与Koopman算子之间的对偶性，实现数据驱动计算，并结合Koopman基逼近的最新进展。
• 提供一个系统性框架，可自然扩展至随机设置，并支持具有物理解释性的有限维近似。

提出的方法

• 在与李雅普诺夫函数方法对偶的密度函数空间中，将最优控制问题形式化为无限维凸优化程序。
• 利用Perron-Frobenius算子（用于密度演化）与Koopman算子（用于可观测量）之间的对偶性，将非线性动力学提升至一个线性、无限维空间。
• 应用自然结构动态模态分解（NSDMD）算法，从单步时间序列数据中计算P-F算子与Koopman算子的有限维近似。
• 使用零输入与单位阶跃输入轨迹的时间序列数据训练算子近似，同时保持正性和马尔可夫性质。
• 构建一种混合控制器，在原点附近区域切换使用局部线性控制器（如LQR或基于李雅普诺夫的控制器）与全局数据驱动控制器。
• 使用标准求解器（如CVX）求解所得有限维凸规划，采用高斯径向基函数（RBFs）进行函数逼近。

实验结果

研究问题

• RQ1 当系统模型未知时，非线性系统的最优控制问题能否被形式化为凸优化问题？
• RQ2 如何利用Perron-Frobenius算子与Koopman算子之间的对偶性，实现数据驱动的最优控制？
• RQ3 密度函数及其在P-F算子作用下的演化在确保稳定性与最优性方面起什么作用？
• RQ4 所提出的框架能否在无需已知系统模型的情况下实现全局最优性与稳定性？
• RQ5 如何从时间序列数据中计算P-F算子与Koopman算子的有限维近似，同时保持正性与马尔可夫性等结构特性？

主要发现

• 所提出的对偶密度空间中的凸形式化确保了闭环系统的几乎处处一致稳定性，该条件强于标准的几乎处处稳定性。
• 对于标量非线性系统 $ \dot{x} = 0.5x^3 + u $，基于P-F算子近似的数据驱动控制器与解析最优控制结果高度一致，状态轨迹与代价函数值几乎完全相同。
• 在Duffing振子示例（$ \dot{x}_1 = x_2, \dot{x}_2 = -x_1 - x_1^3 - 0.5x_2 + u $）中，控制器成功稳定了原点，使用225个RBF和50,000个初始条件，仿真时间不足五分钟。
• 对于三维Van der Pol振子，该框架使用512个RBF和50,000个初始条件成功稳定了系统，展示了向更高维系统扩展的可扩展性。
• NSDMD算法在有限维近似过程中成功保持了P-F算子与Koopman算子的正性和马尔可夫性质，确保了物理解释的一致性。
• 整个计算流程，包括算子近似与最优控制综合，使用MATLAB与CVX在每个示例中均在五分钟内完成，表明其计算可行性。