[论文解读] Discovering conservation laws from trajectories via machine learning

Seungwoong Ha, Hawoong Jeong|arXiv (Cornell University)|Feb 8, 2021

Model Reduction and Neural Networks参考文献 31被引用 4

一句话总结

本文提出ConservNet，一种深度学习模型，通过一种新颖的噪声方差损失函数，从分组轨迹数据中发现守恒量。通过最小化组内方差，同时利用扩散损失防止收敛到平凡常数解，ConservNet在存在噪声和稀疏条件的情况下，成功识别出模拟系统和真实世界双摆数据中的不变量。

ABSTRACT

Invariants and conservation laws convey critical information about the underlying dynamics of a system, yet it is generally infeasible to find them from large-scale data without any prior knowledge or human insight. We propose ConservNet to achieve this goal, a neural network that spontaneously discovers a conserved quantity from grouped data where the members of each group share invariants, similar to a general experimental setting where trajectories from different trials are observed. As a neural network trained with a novel and intuitive loss function called noise-variance loss, ConservNet learns the hidden invariants in each group of multi-dimensional observables in a data-driven, end-to-end manner. Our model successfully discovers underlying invariants from the simulated systems having invariants as well as a real-world double pendulum trajectory. Since the model is robust to various noises and data conditions compared to baseline, our approach is directly applicable to experimental data for discovering hidden conservation laws and further, general relationships between variables.

研究动机与目标

• 从轨迹数据中自动发现动力系统中的守恒定律，而无需先验知识或人工干预。
• 解决在传统方法失效的噪声大、稀疏且分组的实验数据中识别隐藏不变量的挑战。
• 开发一种数据驱动的端到端框架，直接从原始轨迹中提取符号化不变量。
• 确保对噪声、干扰变量以及真实世界实验中常见的不同数据条件具有鲁棒性。
• 通过一种可扩展且通用的方法，实现对多个不变量（包括尺度差异显著的不变量）的发现。

提出的方法

• 提出一种名为ConservNet的神经网络架构，端到端地在每组共享同一不变量的分组轨迹数据上进行训练。
• 引入一种新颖的损失函数——噪声方差损失，通过最小化模型输出的组内方差来促进不变量学习。
• 在损失函数中引入扩散项，通过在噪声输入扰动下增加输出方差，防止收敛到平凡常数解。
• 使用具有有界 $L_2$-范数 $R$ 的噪声向量 $\bm{\varepsilon}_{ij}$ 来模拟扰动，并控制扩散效应的强度。
• 采用超参数 $Q$ 来调节在噪声下模型输出的目标方差，确保非平凡不变量的发现。
• 应用线性变换 $\hat{F}_{\theta} = aF_{\theta} + b$ 将模型输出与真实不变量对齐，用于评估。

实验结果

研究问题

• RQ1 深度神经网络能否在不了解系统动力学先验知识的情况下，从未知的分组轨迹数据中发现守恒量？
• RQ2 在真实世界实验条件下，该方法对噪声、数据稀疏性和不同组大小的鲁棒性如何？
• RQ3 该模型能否区分具有和不具有守恒量的系统，并检测到不变量的缺失？
• RQ4 当多个不变量共存且其尺度差异显著时，模型表现如何？
• RQ5 噪声方差损失在防止收敛到平凡常数解的同时，能在多大程度上保持非平凡不变量的学习？

主要发现

• ConservNet 在各种数据条件下均实现皮尔逊相关系数 $\rho > 0.9$，包括仅有一条长轨迹或100条短轨迹的极端情况。
• 在 $ (20,100) $ 数据条件下训练时，模型成功发现了开普勒问题中的角动量，决定系数 $R^2 = 0.99$。
• 即使角动量与总能量之间存在10倍的尺度差异，ConservNet 与第二个不变量仍表现出强相关性（$\rho \approx 0.9$）。
• 模型在不同超参数设置下表现稳健：$Q$ 和 $R$ 值，以及各种噪声范数（$L_1$、$L_2$、$L_\infty$），所有测试设置中 $\rho > 0.98$。
• 在真实不变量不存在的情况下，ConservNet 表现出强烈过拟合和高组内标准差，表明其能可靠检测非守恒系统。
• 噪声方差损失有效防止了平凡解，如模型在扰动下仍能保持非恒定且有意义的输出，验证了其有效性。