[论文解读] LagNetViP: A Lagrangian Neural Network for Video Prediction

Christine Allen-Blanchette, Sushant Veer+2 more|arXiv (Cornell University)|Oct 24, 2020

Generative Adversarial Networks and Image Synthesis参考文献 21被引用 16

一句话总结

LagNetViP 提出了一种视频预测模型，该模型通过拉格朗日神经网络从学习到的物理量中显式构建运动方程。通过联合学习低维状态表示和系统的拉格朗日函数——分别使用独立的神经网络学习动能和势能——该方法实现了可解释的、基于物理的视频预测，在摆锤和 Acrobot 环境中展现出强大的泛化与外推能力。

ABSTRACT

The dominant paradigms for video prediction rely on opaque transition models where neither the equations of motion nor the underlying physical quantities of the system are easily inferred. The equations of motion, as defined by Newton's second law, describe the time evolution of a physical system state and can therefore be applied toward the determination of future system states. In this paper, we introduce a video prediction model where the equations of motion are explicitly constructed from learned representations of the underlying physical quantities. To achieve this, we simultaneously learn a low-dimensional state representation and system Lagrangian. The kinetic and potential energy terms of the Lagrangian are distinctly modelled and the low-dimensional equations of motion are explicitly constructed using the Euler-Lagrange equations. We demonstrate the efficacy of this approach for video prediction on image sequences rendered in modified OpenAI gym Pendulum-v0 and Acrobot environments.

研究动机与目标

• 开发一种整合物理先验的视频预测模型，以提升深度学习中的可解释性与泛化能力。
• 从高维图像数据中学习低维状态空间表示，同时显式建模系统的运动方程。
• 通过应用欧拉-拉格朗日方程，从学习到的拉格朗日函数构造运动方程，以确保物理一致性。
• 通过利用底层物理动力学而非统计模式，实现对训练数据分布之外的外推。
• 在混沌和保守动力系统（如 Pendulum-v0 和 Acrobot）上进行验证，使用渲染的图像序列。

提出的方法

• 使用自编码神经网络将高维图像序列映射到低维状态空间流形，并反向映射回图像空间。
• 训练一个拉格朗日神经网络（LagNetViP），通过独立的神经网络参数化系统的动能和势能。
• 通过将欧拉-拉格朗日方程应用于学习到的拉格朗日函数（L = T - V）来构建运动方程。
• 使用数值常微分方程求解器将学习到的动力学向前积分，以从初始潜在表示预测未来状态。
• 通过组合图像重建、潜在轨迹重建以及重建图像与动力学生成轨迹之间的一致性损失，端到端优化模型。
• 将模型适配到可提供广义力作为输入的场景，从而实现对非保守力的控制。

实验结果

研究问题

• RQ1 神经网络能否从高维图像数据中联合学习到低维状态表示和可物理解释的拉格朗日函数？
• RQ2 基于拉格朗日的动力学模型在视频预测中，其泛化与外推能力在训练数据分布之外的表现如何？
• RQ3 训练损失的不同组成部分（如重建损失、动力学一致性损失）对模型性能与泛化能力的影响是什么？
• RQ4 该模型能否在复杂机械系统（如 Acrobot）中捕捉到保守与非保守动力学？
• RQ5 与标准黑箱视频预测模型相比，显式使用物理运动方程在提升可解释性与鲁棒性方面有何优势？

主要发现

• LagNetViP 在 Pendulum-v0 环境中实现了出色的视频预测性能，能够准确重建并外推超出训练范围的轨迹。
• 在 Acrobot 数据集上，尽管系统具有混沌特性，该模型仍展现出有希望的外推能力，表明其在复杂动力学建模方面的潜力。
• 消融研究显示，若移除潜在轨迹重建损失，性能会严重下降，凸显其在保持动力学一致性方面的重要作用。
• 包含所有损失组件的模型（LagNetViP）优于各类消融变体（如 LagNetViP-dyn、LagNetViP-lat、LagNetViP-ae），证实了重建与动力学联合优化的重要性。
• 该模型成功预测了摆锤的完整摆动周期，包括在到达最低点后向右上方运动的过程，展示了其在长时程外推中的准确性。
• 使用独立的神经网络分别学习动能与势能，提升了物理可解释性，并增强了学习到的动力学与数据生成过程之间的对齐。