[论文解读] Learning Compositional Koopman Operators for Model-Based Control

Yunzhu Li, Hao He+3 more|arXiv (Cornell University)|Oct 18, 2019

Model Reduction and Neural Networks参考文献 41被引用 32

一句话总结

本文提出使用图神经网络学习的组合型 Koopman 运算符来建模并控制具有可变对象数量的多对象动力学，实现高效识别和基于 MPC 的控制。

ABSTRACT

Finding an embedding space for a linear approximation of a nonlinear dynamical system enables efficient system identification and control synthesis. The Koopman operator theory lays the foundation for identifying the nonlinear-to-linear coordinate transformations with data-driven methods. Recently, researchers have proposed to use deep neural networks as a more expressive class of basis functions for calculating the Koopman operators. These approaches, however, assume a fixed dimensional state space; they are therefore not applicable to scenarios with a variable number of objects. In this paper, we propose to learn compositional Koopman operators, using graph neural networks to encode the state into object-centric embeddings and using a block-wise linear transition matrix to regularize the shared structure across objects. The learned dynamics can quickly adapt to new environments of unknown physical parameters and produce control signals to achieve a specified goal. Our experiments on manipulating ropes and controlling soft robots show that the proposed method has better efficiency and generalization ability than existing baselines.

研究动机与目标

• 激励对非线性多对象动力系统进行高效识别与控制。
• 提出一个随对象数量扩展的组合式 Koopman 框架。
• 利用图神经网络获取面向对象的 Koopman 嵌入。
• 强制一个块状结构的 Koopman 运算符，以在相似相互作用间共享动力学。
• 在绳索和软体机器人实验中展示改进的泛化和控制性能。

提出的方法

• 使用图神经网络将系统状态映射到面向对象的 Koopman 嵌入 g^t = φ(x^t)。
• 假设一个块状结构的 Koopman 矩阵 K 和一个块状控制矩阵 L，以反映对象关系。
• 通过带结构的 sigma 张量对数据进行最小二乘回归来识别 K 和 L：K = σ ⊗ K̂，L = σ ⊗ L̂。
• 使用自编码器、预测和度量损失（L_ae、L_pred、L_metric）联合训练 φ 和图解码器 ψ。
• 使用线性化的 Koopman 动力学 g^{t+1} = K g^t + L u^t，通过二次规划和 MPC 进行开环控制。

实验结果

研究问题

• RQ1 具有组合性、面向对象的 Koopman 嵌入能否推广到对象数量变化的系统？
• RQ2 与无结构或手工设计的基底相比，块状结构的 Koopman 运算符是否提高数据效率和泛化能力？
• RQ3 基于图的 Koopman 嵌入是否能通过二次规划和 MPC 支持高效控制？

主要发现

Koopman 矩阵结构	仿真均方误差	控制均方误差
Diag	0.133 (0.174)	2.337 (2.809)
None	0.117 (0.083)	1.522 (1.288)
Block	0.105 (0.075)	0.854 (1.101)

• Koopman 矩阵的块结构在绳索、软体和游泳环境中带来更好的仿真和控制精度。
• 与基线（交互网络、传播网络和手工 Koopman 基）相比，所提出的方法达到更低的仿真和控制误差。
• 增加系统识别数据可提高仿真精度，且每个对象的嵌入维度约为 16 时表现良好。
• 该方法对未见对象数量具有泛化能力（外推到 10–14 质量），具有显著精度。
• 使用已识别的线性动力学和 MPC 的开环控制在测试任务中高效实现目标状态。