[论文解读] Mastering high-dimensional dynamics with Hamiltonian neural networks

Scott T. Miller, John F. Lindner+3 more|arXiv (Cornell University)|Jul 28, 2020

Model Reduction and Neural Networks被引用 5

一句话总结

本文提出哈密顿神经网络（HNNs），利用哈密顿力学的辛结构，以比传统神经网络更准确、更高效地学习和预测高维动力系统。通过仅在单个能量面上进行训练，而非多个导数，HNNs 减少了学习负担，在维度增加时尤其能以更少的训练样本实现更优性能。

ABSTRACT

We detail how incorporating physics into neural network design can significantly improve the learning and forecasting of dynamical systems, even nonlinear systems of many dimensions. A map building perspective elucidates the superiority of Hamiltonian neural networks over conventional neural networks. The results clarify the critical relation between data, dimension, and neural network learning performance.

研究动机与目标

• 解决在高维动力系统上训练神经网络的挑战，其中传统网络存在泛化能力差和可扩展性不足的问题。
• 探究将物理原理（特别是哈密顿力学）融入模型，如何提升复杂系统中学习效率和预测精度。
• 在系统维度和数据约束不断增加的情况下，比较哈密顿神经网络（HNNs）与传统神经网络（NNs）的性能表现。
• 阐明学习动态的根本差异：HNNs 学习单一能量函数，而 NNs 学习多个导数分量，使 HNNs 在高维空间中更具鲁棒性。

提出的方法

• HNNs 使用前馈神经网络，通过位置和动量预测系统的哈密顿量（总能量），输出为单一能量值。
• 通过哈密顿方程生成动力学：$\dot{q} = \partial H / \partial p$，$\dot{p} = -\partial H / \partial q$，确保辛结构和能量守恒。
• 损失函数最小化预测速度与动量导数之间的差异，通过自动微分计算网络输出的导数。
• 训练采用地图构建视角：HNNs 学习单一能量曲面（例如抛物面），而传统 NNs 分别学习速度和加速度的多个平面。
• 网络架构包含两层隐藏层，每层 $2^5$ 个神经元，激活函数为 $\tanh$，使用 Adam 优化器，学习率为 $10^{-3}$。
• 实验在线性和非线性振子系统上进行，包括耦合双势阱链，训练数据在多个轨道和能量范围内采样。

实验结果

研究问题

• RQ1 HNNs 在预测高维动力系统方面与传统神经网络相比表现如何？
• RQ2 系统维度增加对 HNNs 与标准神经网络的泛化能力和数据效率有何影响？
• RQ3 地图构建视角——学习单一能量曲面与多个导数平面——如何解释 HNNs 的优越性能？
• RQ4 HNNs 在训练数据量变化时的缩放行为如何？与传统网络在高维空间中的表现相比如何？
• RQ5 HNNs 的能量守恒特性如何影响混沌和超混沌系统中的长期预测精度？

主要发现

• 即使训练数据有限，HNNs 在预测高维动力系统时的相对误差显著低于传统神经网络。
• HNNs 的相对误差随训练样本对数的增加呈幂律下降，表明其具有强大的数据效率，尤其在高维空间中优势明显。
• 对于线性振子，HNNs 学习单一抛物面能量曲面（图 2），而传统 NNs 分别学习速度和加速度的两个独立平面，显著增加复杂度。
• 在更高维度下，HNNs 的优势进一步增强，因为需学习的导数数量随维度增加，而 HNNs 仅需学习一个函数——哈密顿量。
• HNNs 在推理过程中保持能量守恒和辛结构，相比传统网络，能实现更稳定、更准确的长期预测。
• 研究证明，HNNs 在预测耦合双势阱链（一种具有复杂动力学的非线性系统）时优于传统网络，证实其在真实世界多组分系统中的可扩展性。