[论文解读] Benchmarking Energy-Conserving Neural Networks for Learning Dynamics from Data

Yaofeng Desmond Zhong, Biswadip Dey+1 more|arXiv (Cornell University)|Dec 3, 2020

Machine Learning in Materials Science被引用 7

一句话总结

本文对十种能量守恒神经网络模型在从时间序列数据学习物理动力学方面的表现进行了基准测试，重点研究了具有显式或隐式约束的哈密顿神经网络与拉格朗日神经网络。CLNN 和 CHNN 因显式约束强制执行和稳定的质量矩阵参数化，在预测精度和数据效率方面优于其他模型，尤其在多摆和陀螺仪系统中表现突出。

ABSTRACT

The last few years have witnessed an increased interest in incorporating physics-informed inductive bias in deep learning frameworks. In particular, a growing volume of literature has been exploring ways to enforce energy conservation while using neural networks for learning dynamics from observed time-series data. In this work, we survey ten recently proposed energy-conserving neural network models, including HNN, LNN, DeLaN, SymODEN, CHNN, CLNN and their variants. We provide a compact derivation of the theory behind these models and explain their similarities and differences. Their performance are compared in 4 physical systems. We point out the possibility of leveraging some of these energy-conserving models to design energy-based controllers.

研究动机与目标

• 评估并比较十种近期能量守恒神经网络模型在从轨迹数据学习物理动力学方面的性能。
• 研究显式与隐式约束强制执行对模型精度、稳定性及数据效率的影响。
• 评估角度感知设计与结构化拉格朗日/哈密顿公式对学习性能的影响。
• 探索这些模型在物理系统中设计基于能量的控制器的潜力。

提出的方法

• 调研并推导了十种神经网络模型的理论基础：HNN、LNN、DeLaN、SymODEN、CHNN、CLNN 及其变体，所有模型均基于哈密顿或拉格朗日动力学。
• 在四个物理系统（单摆、双摆、四重摆和三维陀螺仪）上实现并评估了模型，使用时间序列轨迹数据。
• 通过在神经网络计算图中体现拉格朗日或哈密顿函数的数学形式，实现能量守恒。
• 在 CLNN 和 CHNN 中通过将系统特定的运动学约束直接嵌入网络架构中，实现显式约束强制执行。
• 采用数据增强和不同大小的训练集以评估数据效率，评估内容包括长期预测和能量守恒。
• 跟踪真实能量漂移和相对状态预测误差随时间的变化，以量化模型的稳定性和精度。

实验结果

研究问题

• RQ1 不同能量守恒神经网络架构在预测物理系统长期动力学方面表现如何？
• RQ2 显式与隐式约束强制执行对模型性能和训练稳定性有何影响？
• RQ3 角度感知设计在多体系统中能在多大程度上提升学习效率和精度？
• RQ4 结构化的拉格朗日/哈密顿公式是否能提升混沌系统（如双摆和四重摆）中的数据效率和泛化能力？
• RQ5 这些模型在多长时间内能保持真实物理能量不变？能量守恒与预测精度之间有何关系？

主要发现

• CLNN 和 CHNN 在所有系统中均实现了最佳的长期预测性能，尤其在混沌的双摆和四重摆系统中表现卓越。
• 采用显式约束强制执行的模型（CLNN、CHNN）相比隐式模型表现出显著更低的能量漂移，且与更高的预测精度相关。
• CLNN 和 CHNN 的数据效率最高，即使在双摆系统中仅有 10 条训练轨迹时，也优于其他模型。
• 角度感知设计提升了学习性能，尤其在具有旋转自由度的系统（如多摆）中表现明显。
• 通过隐式方式推导质量矩阵的模型（如 LNN、LNN-Angle）存在病态参数化问题，需依赖对角线正则化以保证训练稳定性。
• 尽管强制实现了能量守恒，所有模型在长时间运行后仍出现与真实恒定能量的偏差，其中 CLNN 和 CHNN 的偏差最小。