[论文解读] Lagrangian Neural Networks

Miles Cranmer, Sam Greydanus+4 more|arXiv (Cornell University)|Mar 10, 2020

Computational Physics and Python Applications参考文献 20被引用 66

一句话总结

本文提出了拉格朗日神经网络（LNNs），用神经网络学习任意拉格朗日函数，从而在不需要正则坐标的情况下实现能量守恒的动力学，并通过拉格朗日图网络扩展到基于图的和连续系统。

ABSTRACT

Accurate models of the world are built upon notions of its underlying symmetries. In physics, these symmetries correspond to conservation laws, such as for energy and momentum. Yet even though neural network models see increasing use in the physical sciences, they struggle to learn these symmetries. In this paper, we propose Lagrangian Neural Networks (LNNs), which can parameterize arbitrary Lagrangians using neural networks. In contrast to models that learn Hamiltonians, LNNs do not require canonical coordinates, and thus perform well in situations where canonical momenta are unknown or difficult to compute. Unlike previous approaches, our method does not restrict the functional form of learned energies and will produce energy-conserving models for a variety of tasks. We test our approach on a double pendulum and a relativistic particle, demonstrating energy conservation where a baseline approach incurs dissipation and modeling relativity without canonical coordinates where a Hamiltonian approach fails. Finally, we show how this model can be applied to graphs and continuous systems using a Lagrangian Graph Network, and demonstrate it on the 1D wave equation.

研究动机与目标

• 基于拉格朗日力学的更强先验来激发对物理动力学的学习。
• 开发一个神经框架，在不限制动能形式的情况下学习拉格朗日函数。
• 在规范坐标未知或不可用的情况下，也能实现精确、能量守恒的动力学。
• 通过拉格朗日图网络将LNN扩展到图和连续系统，以处理类PDE的任务。

提出的方法

• 利用神经网络参数化的拉格朗日量 L(q, qdot)，从欧拉-拉格朗日方程形式化动力学。
• 通过求解一个涉及 L 的Hessian和梯度的矩阵方程来计算加速度 ddot{q}，表达式为 ddot{q} = (nabla_{qdot} nabla_{qdot}^T L)^{-1} [nabla_q L - (nabla_q nabla_{qdot}^T L) dot{q}]。
• 通过最小化预测加速度 ddot{x}^L 与真实加速度 ddot{x}^true 之间差异来训练。
• 允许非规范坐标，与需要规范动量的哈密顿方法不同。
• 通过对连接的坐标组求和局部拉格朗日密度来扩展到拉格朗日图网络，以建模波动方程。
• 使用 JAX 进行高效的前向建模和逆 Hessian 计算；采用为 LNNs 定制的新颖初始化策略。

实验结果

研究问题

• RQ1 神经网络是否可以在不强制规范坐标的情况下学习任意拉格朗日函数？
• RQ2 在长期动力学中，Lagrangian Neural Networks 是否比基线模型更有效地守恒能量？
• RQ3 在非规范坐标数据上，拉格朗日形式相对于基于哈密顿的方法的表现如何？
• RQ4 LNN 框架是否可以通过拉格朗日图网络（LGN）扩展到图结构或连续系统？
• RQ5 在稳定 LNN 学习中，实际的训练考虑因素（激活函数选择、初始化）有哪些？

主要发现

• LNNs 在双摆问题上比基线神经网络更准确地守恒总能量，能量偏差约为最大势能的 0.4%（LNNs）对比基线的 8%。
• 在具有非规范坐标的相对论粒子问题上，LNNs 学习到准确动力学，而哈密顿网络在没有规范坐标时失败。
• 一个拉格朗日图网络模型能够学习一维波动方程，并在对局部网格邻域聚合拉格朗日密度时保持能量守恒。
• LNNs 展示了在坐标约束导致哈密顿方法困难的情形下，学习非平凡规范动量和动力学的能力。