[论文解读] Learning Stable Deep Dynamics Models

Gaurav Manek, J. Zico Kolter|arXiv (Cornell University)|Jan 17, 2020

Model Reduction and Neural Networks参考文献 18被引用 55

一句话总结

这篇论文提出了一种通过联合学习动力学模型和凸、正定的 Lyapunov 函数来可证明全局稳定的神经网络动力学学习方法，从而实现对简单和复杂动力学的稳定建模，包括视频纹理。

ABSTRACT

Deep networks are commonly used to model dynamical systems, predicting how the state of a system will evolve over time (either autonomously or in response to control inputs). Despite the predictive power of these systems, it has been difficult to make formal claims about the basic properties of the learned systems. In this paper, we propose an approach for learning dynamical systems that are guaranteed to be stable over the entire state space. The approach works by jointly learning a dynamics model and Lyapunov function that guarantees non-expansiveness of the dynamics under the learned Lyapunov function. We show that such learning systems are able to model simple dynamical systems and can be combined with additional deep generative models to learn complex dynamics, such as video textures, in a fully end-to-end fashion.

研究动机与目标

• 在机器人学、控制与预测中，激励具备可证明全局稳定性的学习动力系统的需求。
• 提出一种通过将 Lyapunov 函数整合到动力学模型中来在全球范围内强制稳定性的方法。
• 在物理系统（例如 n-link 摆）和用于视频纹理的潜在动力学学习上展示该方法。
• 展示稳定的动力学如何与更大的架构（如 VAE）集成以实现端到端学习。

提出的方法

• 定义名义动力学模型 f̂ 和一个正定 Lyapunov 函数 V。
• 通过将学习得到的动力学投影到半空间来约束 f̂，使 ∇V(x)ᵀf(x) ≤ −αV(x)。
• 将 V 表示为一个输入凸神经网络（ICNN），以确保无局部极小值和凸性。
• 确保 V(0)=0 并添加一个小的 ε||x||² 项以实现严格正定性。
• 使用可微、平滑的激活函数以保持 V 的连续可微。
• 可选地通过可逆函数 F 将输入空间扭曲以放宽强凸性。

实验结果

研究问题

• RQ1 是否可以训练一个神经网络动力学模型，使其对所有状态全局指数稳定？
• RQ2 将 Lyapunov 函数与动力学联合学习在实际中是否能为非线性系统保证稳定性？
• RQ3 该方法能否扩展到更高维的潜在空间，并集成到像 VAE 这样的端到端架构中，以实现复杂输出（例如视频纹理）？
• RQ4 在物理系统（如 n-link 摆）上，稳定动力学模型与天真、无约束的动力学模型相比如何？

主要发现

• 由 f̂ 投影构建的 f 对所有 x 满足 ∇V(x)ᵀf(x) ≤ −αV(x)，从而保证对原点的全局指数稳定。
• V 被实现为 ICNN 以确保凸性和无局部极值，由归一化项导致零是唯一极小值。
• 实验显示对随机网络、n-link 摆以及高维潜在视频纹理动力学的稳定学习动力学。
• 在摆的实验中，稳定模型保持能量一致的行为，并相对于简单、不稳定的模型降低长时域误差。
• 在视频纹理生成中，将稳定动力学与 VAE 集成可以产生多样且长期的帧，而天真模型会发散。