[论文解读] CKNet: A Convolutional Neural Network Based on Koopman Operator for Modeling Latent Dynamics from Pixels

Yongqian Xiao, Xin Xu+1 more|arXiv (Cornell University)|Feb 19, 2021

Model Reduction and Neural Networks参考文献 13被引用 8

一句话总结

该论文提出CKNet，一种基于Koopman算子的深度卷积网络，通过编码器-解码器架构从原始像素输入中学习可解释的线性潜在动力学。通过在Koopman理论约束下将状态转移矩阵和控制矩阵作为可学习参数进行训练，CKNet在离线和在线连续控制环境中均实现了长期、稳定的潜在状态与重建图像预测，且DCKNet与VCKNet在各类任务中表现出相似的特征函数演化模式。

ABSTRACT

With the development of end-to-end control based on deep learning, it is important to study new system modeling techniques to realize dynamics modeling with high-dimensional inputs. In this paper, a novel Koopman-based deep convolutional network, called CKNet, is proposed to identify latent dynamics from raw pixels. CKNet learns an encoder and decoder to play the role of the Koopman eigenfunctions and modes, respectively. The Koopman eigenvalues can be approximated by eigenvalues of the learned state transition matrix. The deterministic convolutional Koopman network (DCKNet) and the variational convolutional Koopman network (VCKNet) are proposed to span some subspace for approximating the Koopman operator respectively. Because CKNet is trained under the constraints of the Koopman theory, the identified latent dynamics is in a linear form and has good interpretability. Besides, the state transition and control matrices are trained as trainable tensors so that the identified dynamics is also time-invariant. We also design an auxiliary weight term for reducing multi-step linearity and prediction losses. Experiments were conducted on two offline trained and four online trained nonlinear forced dynamical systems with continuous action spaces in Gym and Mujoco environment respectively, and the results show that identified dynamics are adequate for approximating the latent dynamics and generating clear images. Especially for offline trained cases, this work confirms CKNet from a novel perspective that we visualize the evolutionary processes of the latent states and the Koopman eigenfunctions with DCKNet and VCKNet separately to each task based on the same episode and results demonstrate that different approaches learn similar features in shapes.

研究动机与目标

• 为解决在传统分析方法失效的复杂系统中建模高维像素化动力学的挑战。
• 为具有连续动作空间的非线性系统开发一种数据驱动、可解释且时间不变的潜在动力学模型。
• 通过用深度神经网络替代Koopman建模中的手工字典设计，克服其局限性。
• 通过从原始像素中学习预测性线性动力学，实现端到端控制，无需内在状态测量。
• 通过辅助损失项提升预测精度与稳定性，降低多步线性误差与重建误差。

提出的方法

• CKNet采用深度自编码器框架，其中编码器近似Koopman特征函数，解码器从潜在表示中重建状态。
• 状态转移矩阵与控制矩阵作为可学习张量进行训练，确保潜在空间中时间不变的动力学。
• 提出两种变体：DCKNet（确定性）与VCKNet（变分），二者均受Koopman算子理论约束，以保证线性且可解释的动力学。
• 模型通过多步预测损失与辅助权重项进行训练，以降低长期预测中线性误差与重建误差。
• Koopman特征值通过学习到的状态转移矩阵的特征值近似得到，从而实现对潜在动力学的谱分析。
• 该方法在Gym与MuJoCo环境中的离线与在线训练设置下，应用于连续控制任务。

实验结果

研究问题

• RQ1 深度神经网络能否有效从原始像素观测中学习Koopman特征函数与模式，以建模非线性动力学？
• RQ2 DCKNet与VCKNet在学习一致潜在动力学与特征函数演化方面表现如何比较？
• RQ3 CKNet在不发散的情况下，能在多长的预测时域内准确预测潜在状态并重建图像？
• RQ4 辅助损失项在降低学习动力学的多步线性误差方面有何改善作用？
• RQ5 不同的训练范式（离线与在线）是否影响所识别的Koopman基模型的可解释性与稳定性？

主要发现

• CKNet成功从原始像素中学习到线性且可解释的潜在动力学，DCKNet与VCKNet在各类任务中均表现出相似的Koopman特征函数演化形态。
• 在离线训练任务中，模型实现了潜在状态的稳定长期预测，并生成清晰准确的图像重建。
• 在在线训练的MuJoCo任务中，CKNet在Cheetah-run与CartPole-balance任务中表现良好，潜在状态预测的平均绝对误差（MAE）较低，但在快速移动或小尺寸物体任务中性能下降。
• 辅助损失项显著降低了多步线性误差与预测误差，提升了长期预测的稳定性。
• 可视化结果表明，对应较小特征值的特征函数在演化过程中波动更小，表明其具有稳定的谱行为。
• 尽管DCKNet与VCKNet在状态转移动力学与VCKNet中基于采样的推理方式上存在差异，但潜在状态与Koopman特征函数的演化过程保持一致。