[论文解读] Deep Hamiltonian networks based on symplectic integrators

Aiqing Zhu, Pengzhan Jin+1 more|arXiv (Cornell University)|Apr 23, 2020

Model Reduction and Neural Networks参考文献 42被引用 18

一句话总结

该论文表明，使用辛积分器的哈密顿神经网络（HNets）学习的是由逆修正方程定义的修正哈密顿量，而非原始的真实哈密顿量。理论分析证明，辛积分器保证了网络目标（零损失映射）的存在，而非辛积分器则不能；数值实验证实，通过在长期预测中保持网络目标的动力学，使用辛积分器的 HNet 能够实现更优的泛化能力和更高的精度。

ABSTRACT

HNets is a class of neural networks on grounds of physical prior for learning Hamiltonian systems. This paper explains the influences of different integrators as hyper-parameters on the HNets through error analysis. If we define the network target as the map with zero empirical loss on arbitrary training data, then the non-symplectic integrators cannot guarantee the existence of the network targets of HNets. We introduce the inverse modified equations for HNets and prove that the HNets based on symplectic integrators possess network targets and the differences between the network targets and the original Hamiltonians depend on the accuracy orders of the integrators. Our numerical experiments show that the phase flows of the Hamiltonian systems obtained by symplectic HNets do not exactly preserve the original Hamiltonians, but preserve the network targets calculated; the loss of the network target for the training data and the test data is much less than the loss of the original Hamiltonian; the symplectic HNets have more powerful generalization ability and higher accuracy than the non-symplectic HNets in addressing predicting issues. Thus, the symplectic integrators are of critical importance for HNets.

研究动机与目标

• 研究积分器选择如何影响 HNet 中网络目标的存在性与性质。
• 填补对为何辛积分器在 HNet 中优于非辛积分器的理论理解空白。
• 确立使用辛积分器训练的 HNet 学习的是修正哈密顿量，而非原始系统的哈密顿量。
• 证明使用辛积分器的 HNet 在长期动力学预测中具有更好的泛化能力并实现更高精度。

提出的方法

• 引入网络目标的概念，即在训练数据上经验损失为零的映射。
• 提出逆修正方程，以解析方式计算 HNet 的网络目标。
• 使用逆误差分析，将积分器的精度阶数与目标误差关联起来。
• 将目标误差定义为网络目标与真实哈密顿量之间的差异。
• 在 HNet 中应用辛与非辛积分器（例如，隐式中点法与梯形法）。
• 通过数值实验验证理论发现，包括相流精度与哈密顿量守恒性。

实验结果

研究问题

• RQ1 积分器的选择是否会影响 HNet 中网络目标的存在性？
• RQ2 网络目标能否被解析表征？它与原始哈密顿量有何关系？
• RQ3 为何辛积分器相比非辛积分器在 HNet 中能带来更好的泛化能力与精度？
• RQ4 使用辛积分器训练的 HNet 在多大程度上保留了原始哈密顿量，而非网络目标？
• RQ5 积分器的精度阶数如何影响 HNet 中的目标误差？

主要发现

• 基于辛积分器的 HNet 拥有一个明确定义的网络目标，而非辛积分器则无法保证其存在。
• 网络目标对应于积分器的截断逆修正方程，而非原始哈密顿量。
• 网络目标在训练数据和测试数据上的损失显著低于原始哈密顿量的损失。
• 辛 HNet 更准确地保持了网络目标的相流并更精确地守恒其哈密顿量，优于非辛 HNet。
• 在摆动和开普勒问题的实验中，辛 HNet 展现出更低的全局误差和更优的长期守恒性能。
• 目标误差随积分器精度阶数的提高而减小，证实了理论预测。