[论文解读] Symplectic networks: Intrinsic structure-preserving networks for identifying Hamiltonian systems.

Pengzhan Jin, Aiqing Zhu+2 more|arXiv (Cornell University)|Jan 11, 2020

Model Reduction and Neural Networks参考文献 46被引用 11

一句话总结

本文提出了辛网络（SympNets），一种新型神经网络架构，能够内在地保持哈密顿系统的辛结构。通过在训练过程中强制保持辛性，SympNets 在学习和预测相空间动力学方面显著优于标准全连接网络，尤其在传统数值方法失效的长期积分任务中表现更优。

ABSTRACT

This work presents a framework of constructing the neural networks preserving the symplectic structure, so-called symplectic networks (SympNets). With the symplectic networks, we show some numerical results about ( omannumeral1) solving the Hamiltonian systems by learning abundant data points over the phase space, and ( omannumeral2) predicting the phase flows by learning a series of points depending on time. All the experiments point out that the symplectic networks perform much more better than the fully-connected networks that without any prior information, especially in the task of predicting which is unable to do within the conventional numerical methods.

研究动机与目标

• 开发一种内在尊重哈密顿系统辛几何的神经网络架构。
• 改进从相空间数据中学习和预测哈密顿动力学，尤其是在长时间跨度下。
• 克服标准神经网络和传统数值积分器在保持能量和相空间结构方面的局限性。
• 证明辛归纳偏差可使数据驱动设置下的动力学预测更加稳定和准确。

提出的方法

• 设计一种神经网络架构，通过使用辛矩阵参数化，约束隐藏层更新的雅可比矩阵为辛矩阵。
• 采用辛残差块结构，确保网络每一层均保持辛性质。
• 在密集的相空间数据点上训练网络，以隐式学习哈密顿向量场。
• 利用时间序列数据训练网络，使其能够预测状态沿相流的演化，确保辛一致性。
• 通过避免梯度消失并保持几何保真度的参数化方式，强制实施辛条件。

实验结果

研究问题

• RQ1 能否设计一种神经网络架构，使其内在地保持哈密顿系统的辛结构？
• RQ2 与标准全连接网络相比，辛归纳偏差在学习和预测哈密顿动力学方面有何改进？
• RQ3 SympNets 是否能在传统数值方法失效的长期相流预测中实现泛化？
• RQ4 在数据驱动的哈密顿建模中，保持辛结构在多大程度上提升了稳定性和准确性？

主要发现

• 当从相空间数据学习时，SympNets 在长期预测精度方面显著优于全连接网络。
• 辛归纳偏差使网络能够在延长的时间跨度上实现稳定积分，避免了标准网络中常见的能量漂移。
• 即使在有限时间序列数据上训练，SympNets 在预测相流方面仍优于标准网络。
• 该框架能成功从稀疏或密集的相空间观测中学习底层哈密顿动力学，并实现更高的几何保真度。