[论文解读] Learning Neural Networks with Competing Physics Objectives: An Application in Quantum Mechanics.

Jie Bu, Mohannad Elhamod+4 more|arXiv (Cornell University)|Jul 2, 2020

Model Reduction and Neural Networks参考文献 19被引用 2

一句话总结

本文提出了一种自适应的多目标物理引导机器学习方法，用于在量子力学中训练神经网络，其中在训练过程中动态平衡相互竞争的物理约束——最小化能量和满足薛定谔方程。该方法通过学习非凸、相互竞争的物理损失项之间的最优权衡，提升了基线PGML模型的泛化能力。

ABSTRACT

Physics-guided Machine Learning (PGML) is an emerging field of research in machine learning (ML) that aims to harness the power of ML advances without ignoring the rich knowledge of physics underlying scientific phenomena. One of the promising directions in PGML is to modify the objective function of neural networks by adding physics-guided (PG) loss functions that measure the violation of physics objectives in the ANN outputs. Existing PGML approaches generally focus on incorporating a single physics objective as a PG loss, using constant trade-off parameters. However, in the presence of multiple physics objectives with competing non-convex PG loss terms, there is a need to adaptively tune the importance of competing PG loss terms during the process of neural network training. We present a novel approach to handle competing PG loss terms in the illustrative application of quantum mechanics, where the two competing physics objectives are minimizing the energy while satisfying the Schrodinger equation. We conducted a systematic evaluation of the effects of PG loss on the generalization ability of neural networks in comparison with several baseline methods in PGML. All the code and data used in this work is available at this https URL.

研究动机与目标

• 解决现有物理引导机器学习（PGML）方法在单一定物理目标下使用固定权衡权重的局限性。
• 开发一种能够处理神经网络训练中多个相互竞争的物理目标及非凸损失函数的框架。
• 通过自适应调整冲突物理约束的重要性，提升神经网络在量子力学系统中的泛化性能。
• 系统评估物理引导损失函数对模型泛化性能的影响，并与标准PGML基线进行比较。

提出的方法

• 引入一种动态权衡机制，在神经网络训练过程中自适应调整相互竞争的物理引导（PG）损失项的权重。
• 将该方法应用于量子力学，其中两个关键目标是最小化量子态的能量和强制满足薛定谔方程。
• 采用薛定谔方程的可微分形式作为约束损失，结合能量期望值损失。
• 采用基于梯度的优化策略，联合最小化具有自适应权重系数的复合损失函数。
• 采用基于验证的机制在训练过程中调节PG损失项的相对重要性，避免手动超参数调优。
• 在基准量子力学系统上验证该方法，与固定权重PGML基线比较泛化性能。

实验结果

研究问题

• RQ1 自适应调整相互竞争的物理目标权重，如何影响神经网络在量子力学中的泛化性能？
• RQ2 当存在多个非凸物理约束时，动态损失权重策略是否能优于固定权重PGML方法？
• RQ3 在神经网络训练中，能量最小化与薛定谔方程满足等相互竞争的物理目标在多大程度上相互干扰？
• RQ4 与标准PGML基线相比，该方法在收敛速度和解的准确性方面表现如何？

主要发现

• 所提出的自适应PGML方法在泛化性能上优于使用固定权衡权重的基线PGML模型。
• 对物理损失权重的动态调整可显著加快量子力学系统中的收敛速度并获得更精确的解。
• 该方法无需手动超参数调优，即可有效平衡能量最小化与薛定谔方程符合度之间的相互竞争目标。
• 同时包含两个物理目标显著提升了神经网络预测的物理一致性和可靠性。
• 实证结果表明，与固定权重基线相比，自适应权重机制可降低能量估计误差和薛定谔方程违反程度。
• 该方法在不同量子系统上均表现出良好的泛化能力，表明其对问题领域内结构变化具有鲁棒性。