[论文解读] A Convex Optimization Approach to Learning Koopman Operators

Mario Sznaier|arXiv (Cornell University)|Feb 7, 2021

Model Reduction and Neural Networks参考文献 14被引用 4

一句话总结

本文提出了一种基于数据的凸优化框架，用于学习Koopman算子，通过将问题表述为秩约束半定规划（SDP），并将其松弛为凸SDP。该方法联合学习Koopman算子、状态空间的非线性嵌入及其对应的希尔伯特空间可观测量，无需预先指定嵌入维度或动力学阶数，从而实现非线性动力系统的可证明最优且低阶的模型。

ABSTRACT

Koopman operators provide tractable means of learning linear approximations of non-linear dynamics. Many approaches have been proposed to find these operators, typically based upon approximations using an a-priori fixed class of models. However, choosing appropriate models and bounding the approximation error is far from trivial. Motivated by these difficulties, in this paper we propose an optimization based approach to learning Koopman operators from data. Our results show that the Koopman operator, the associated Hilbert space of observables and a suitable dictionary can be obtained by solving two rank-constrained semi-definite programs (SDP). While in principle these problems are NP-hard, the use of standard relaxations of rank leads to convex SDPs. Further, these SDPs exhibit chordal sparsity leading to algorithms that scale linearly with the number of data points.

研究动机与目标

• 为解决Koopman算子学习中选择合适字典和界定近似误差的挑战，这在非线性系统辨识中至关重要。
• 开发一种数据驱动方法，从时间序列数据中联合学习Koopman算子、可观测量的希尔伯特空间以及状态空间的非线性嵌入。
• 消除对嵌入维度或动力学阶数的先验指定需求，这些在现有方法中通常是启发式选择。
• 提供一种解决方案的认证机制，确保在凸松弛下获得的Koopman算子和嵌入是最优的。
• 与传统的Hankel矩阵分解或固定字典EDMD方法相比，实现更简单、更低阶的模型发现。

提出的方法

• 该方法将Koopman算子学习表述为一个秩约束半定规划（SDP），其中秩约束编码了系统的低维动力学。
• 通过标准的核范数松弛，将秩约束SDP松弛为凸SDP，从而可利用标准SDP求解器实现可计算解。
• 该方法使用延迟坐标和基于核的非线性嵌入，将原始状态空间映射到更高维空间，使Koopman算子在此空间中线性作用。
• 求解两个顺序SDP：第一个通过Loewner矩阵形式学习嵌入和Koopman算子，第二个学习从潜在空间到原始状态空间的逆映射。
• 该流程利用SDP结构中的弦图稀疏性，通过基于ADMM的求解器实现可扩展求解，其复杂度在数据点数量上呈线性。
• 在学习Koopman算子和嵌入后，通过潜在空间中的线性模型进行动力学预测，每步仅需O(r)次运算，其中r为延迟时移。

实验结果

研究问题

• RQ1 Koopman算子学习能否被表述为一个凸优化问题，从而在不预先假设维度的前提下，联合识别算子、可观测量的希尔伯特空间和非线性嵌入？
• RQ2 如何将秩约束SDP公式松弛为凸问题，同时保持最优性并实现解的认证？
• RQ3 所提出的方法能否发现比传统EDMD或Hankel基因子分解方法更低阶的模型，特别是在混沌系统中？
• RQ4 该方法在非线性和混沌系统中对未见初始条件和长时预测的泛化能力如何？
• RQ5 基于核的嵌入和弦图稀疏性是否能够实现大规模数据集SDP的可扩展线性时间求解？

主要发现

• 所提方法成功学习了混沌系统（如Duffing振子和4D非线性系统）的Koopman算子，在训练数据和未见数据上均实现了高精度的一步预测。
• 对于Duffing振子，该方法实现了3维嵌入，并采用二阶模型在100步预测范围内实现了高精度轨迹预测。
• 在捕食者-猎物模型中，从120个点的轨迹估计出八阶模型，该流程在未见初始条件下仍能以极小误差预测80步。
• 对于一个对初始条件极端敏感的4D混沌系统，该方法生成了3维嵌入，并以合理精度预测了100步，表现出对混沌的鲁棒性。
• 与传统的Hankel矩阵分解相比，该方法发现了更低阶的动力学，表明模型更简洁，且具有更好的泛化潜力。
• SDP结构表现出弦图稀疏性，通过基于ADMM的求解器实现可扩展求解，其复杂度在数据点数量上呈线性，使该方法适用于更大规模数据集。