[论文解读] Learning Parametric Koopman Decompositions for Prediction and Control

Yue Guo, Milan Korda+2 more|arXiv (Cornell University)|Oct 2, 2023

Model Reduction and Neural Networks被引用 4

一句话总结

本文提出一种基于学习的方法，通过联合学习一个公共不变子空间和一组参数化的投影Koopman算子，为具有静态或时变参数的动力系统构建参数化Koopman分解。该方法在高维、强非线性系统中实现了精确预测和数据驱动的最优控制，预测精度和控制性能均优于现有方法。

ABSTRACT

We present an approach to construct approximate Koopman-type decompositions for dynamical systems depending on static or time-varying parameters. Our method simultaneously constructs an invariant subspace and a parametric family of projected Koopman operators acting on this subspace. We parametrize both the projected Koopman operator family and the dictionary that spans the invariant subspace by neural networks and jointly train them with trajectory data. We show theoretically the validity of our approach, and demonstrate via numerical experiments that it exhibits significant improvements over existing methods in solving prediction problems, especially those with large state or parameter dimensions, and those possessing strongly non-linear dynamics. Moreover, our method enables data-driven solution of optimal control problems involving non-linear dynamics, with interesting implications on controllability.

研究动机与目标

• 解决在动力学知识不完整、仅依赖轨迹数据的情况下对参数化动力系统建模的挑战。
• 将Koopman算子理论扩展至具有强非线性的非自治、参数依赖系统。
• 从数据中联合学习一个不变子空间和一组参数化Koopman算子，克服先前线性或双线性近似方法的局限性。
• 实现对涉及复杂非线性动力学的最优控制问题的数据驱动求解。

提出的方法

• 使用深度神经网络对构成不变子空间的字典和投影Koopman算子族进行参数化。
• 使用轨迹数据同时训练神经网络，以联合优化子空间和算子近似。
• 为Koopman算子设计神经网络架构，确保其在整个参数空间上保持连续性，并近似算子族。
• 利用神经网络的函数逼近能力，将非线性参数依赖性直接嵌入有限维Koopman算子中。
• 利用紧致性和一致连续性的理论保证，在较弱条件下确保近似收敛。
• 在$ K(\bm{u}) $的神经网络中采用残差结构，以确保矩阵秩由最后一层神经元数量有界，从而实现低秩近似。

Figure 1 : The neural network architecture of PK-NN. The trainable parameters of $K(\bm{u};\bm{\theta}_{K})$ are integrated within the structure of $NN_{K}$ , and a distinct neural network $NN_{\bm{\Psi}}$ is used to parametrize the dictionaries $\bm{\Psi}(\bm{x};\bm{\theta}_{\psi})$ .

实验结果

研究问题

• RQ1 是否存在一种统一的、数据驱动的方法，能够同时学习非线性、参数依赖动力系统的不变子空间和参数化Koopman算子族？
• RQ2 如何利用神经网络联合学习Koopman算子和字典，同时保持Koopman动力学的线性结构？
• RQ3 在高维或强非线性系统中，该方法相较于现有方法在预测精度上的提升程度如何？
• RQ4 所学习的参数化Koopman模型能否有效用于非线性系统的最优控制？

主要发现

• 所提方法在预测精度方面显著优于现有方法，尤其在状态或参数维度较大的系统中表现突出。
• 该方法通过联合神经网络训练，成功捕捉了高维状态与参数之间的复杂非线性关系。
• 数值实验表明，所学习的参数化Koopman算子能够在非自治、非线性系统中实现精确的长期预测。
• 该方法支持非线性系统的数据驱动最优控制，已在可控制性分析和轨迹优化方面展现出改进效果。
• 理论分析表明，在Koopman算子族满足较弱正则性条件时，近似误差可被任意缩小。
• Koopman算子矩阵的秩由神经网络最后一层隐藏层的神经元数量有界，从而支持低秩、高效的表示。

Figure 2 : Comparison on different $(\nu_{1},\nu_{2})$ with $\nu_{1}\nu_{2}=10000$ . The topmost panel displays the prediction results for PK-NN and M1 on both training and testing data. The horizontal axis represents the values of $(\nu_{1},\nu_{2})$ . In the bottom panels, we provide a detailed er