[论文解读] Deep Energy-Based Modeling of Discrete-Time Physics

Takashi Matsubara, Ai Ishikawa+1 more|arXiv (Cornell University)|May 21, 2019

Model Reduction and Neural Networks参考文献 53被引用 11

一句话总结

本文提出了一种用于离散时间物理的深度能量基模型，通过几何结构和一种新颖的自动离散微分算法，实现了能量守恒和质量守恒等物理定律的保持。该方法使神经网络能够在离散时间下学习并模拟物理动力学，同时保持关键的物理不变量，在实际应用中表现优于连续时间积分器。

ABSTRACT

Physical phenomena in the real world are often described by energy-based modeling theories, such as Hamiltonian mechanics or the Landau theory, which yield various physical laws. Recent developments in neural networks have enabled the mimicking of the energy conservation law by learning the underlying continuous-time differential equations. However, this may not be possible in discrete time, which is often the case in practical learning and computation. Moreover, other physical laws have been overlooked in the previous neural network models. In this study, we propose a deep energy-based physical model that admits a specific differential geometric structure. From this structure, the conservation or dissipation law of energy and the mass conservation law follow naturally. To ensure the energetic behavior in discrete time, we also propose an automatic discrete differential algorithm that enables neural networks to employ the discrete gradient method.

研究动机与目标

• 开发一种深度学习框架，用于在离散时间下建模物理现象，同时保持能量守恒和质量守恒等基本物理定律。
• 解决连续时间数值积分器在离散时间学习中的局限性，其中定性特征的重要性超过高阶精度。
• 统一并扩展现有的能量基模型，包括哈密顿系统、耗散系统以及自由能最小化模型。
• 提出一种与神经网络兼容的自动离散微分算法，实现离散梯度在反向传播中的使用，而无需显式函数形式。

提出的方法

• 该框架基于微分几何结构构建，天然地在离散时间下导出能量守恒或耗散以及质量守恒定律。
• 采用离散梯度法作为结构保持积分器，确保离散时间模拟中的物理一致性。
• 提出一种自动离散微分算法，用于计算具有线性和非线性运算的神经网络的离散梯度，类似于标准自动微分。
• 该方法实现为一个PyTorch库，可最小修改地集成到深度学习工作流中。
• 该方法被应用于多种物理系统，包括质量-弹簧系统、单摆、二体问题以及KdV方程和麦克斯韦方程等PDE。
• 通过直接从离散时间数据学习，避免插值和离散化误差，从而保持底层几何结构。

实验结果

研究问题

• RQ1 深度神经网络能否在离散时间物理系统中保持能量和质量守恒定律？
• RQ2 在实际学习场景中，离散时间结构保持积分器与连续时间数值积分器的性能相比如何？
• RQ3 能否有效设计一种自动离散微分算法，用于神经网络计算离散梯度，而无需显式函数形式？
• RQ4 所提出的框架在多大程度上能统一并推广现有的能量基模型，如HNNs和NODEs？
• RQ5 在离散时间物理建模中，低阶但定性更优的积分器是否优于高阶积分器？

主要发现

• 所提出的基于离散梯度的方法在长期模拟中相比连续时间积分器（如RK2和自适应Dormand-Prince，ada. DP）表现出更优的能量守恒和预测精度。
• 在质量-弹簧系统上，DGNet使用公式(6)和ada. DP的训练损失为1.75 ± 1.00 × 10⁻²，预测损失为1.60 ± 1.65 × 10⁻³，优于NODE和HNN在能量和导数追踪方面的表现。
• 在真实单摆数据集上，DGNet的训练损失为1.38 ± 0.06 × 10⁻³，能量损失为4.92 ± 3.94 × 10⁻⁴，表现出强鲁棒性和稳定性。
• 自动离散微分算法实现了通过离散梯度的有效反向传播，使得在离散时间下训练带有物理约束的神经网络成为可能。
• 数值实验表明，低阶但结构保持的积分器（如离散梯度）在离散时间设置下通常优于高阶积分器，凸显了定性准确性的重要性。
• 该框架成功推广至多种物理系统，包括KdV和麦克斯韦方程等哈密顿PDE，证实了其广泛适用性。