[论文解读] CoPhy-PGNN: Learning Physics-guided Neural Networks with Competing Loss Functions for Solving Eigenvalue Problems

Mohannad Elhamod, Jie Bu+6 more|arXiv (Cornell University)|Jul 2, 2020

Model Reduction and Neural Networks被引用 10

一句话总结

该论文提出 CoPhy-PGNN，一种物理引导的神经网络框架，通过在训练过程中自适应地平衡相互竞争的基于物理的损失函数，以求解量子力学和电磁学中的特征值问题。通过使用退火调度动态调整损失权重，CoPhy-PGNN 实现了优越的泛化能力与极低的特征方程误差，在大规模批量处理中，其准确性和可扩展性均优于基线模型。

ABSTRACT

Physics-guided Neural Networks (PGNNs) represent an emerging class of neural networks that are trained using physics-guided (PG) loss functions (capturing violations in network outputs with known physics), along with the supervision contained in data. Existing work in PGNNs has demonstrated the efficacy of adding single PG loss functions in the neural network objectives, using constant trade-off parameters, to ensure better generalizability. However, in the presence of multiple PG functions with competing gradient directions, there is a need to adaptively tune the contribution of different PG loss functions during the course of training to arrive at generalizable solutions. We demonstrate the presence of competing PG losses in the generic neural network problem of solving for the lowest (or highest) eigenvector of a physics-based eigenvalue equation, which is commonly encountered in many scientific problems. We present a novel approach to handle competing PG losses and demonstrate its efficacy in learning generalizable solutions in two motivating applications of quantum mechanics and electromagnetic propagation. All the code and data used in this work is available at https://github.com/jayroxis/Cophy-PGNN.

研究动机与目标

• 为解决神经网络训练中相互竞争的物理引导（PG）损失函数所带来的挑战，其中冲突的梯度可能导致优化陷入次优局部极小值。
• 通过在训练过程中自适应调节多个PG损失的贡献，而非使用固定的权衡权重，从而提升物理信息神经网络的泛化能力。
• 在涉及量子力学和电磁波传播中特征方程的实际科学问题中，证明该自适应方法的有效性。
• 通过利用GPU并行计算实现可扩展的推理，展示在处理大规模批量输入时，相较于传统迭代求解器，显著提升运行速度。
• 提供一个可推广的框架，用于使用神经网络有效整合物理定律与标注数据，求解特征值问题。

提出的方法

• 提出 CoPhy-PGNN，一种结合多种PG损失函数与数据驱动损失的物理引导神经网络，通过退火调度实现自适应加权。
• 采用两种自适应损失缩放机制：一种用于物理损失（λ_C），从零开始，以速率 b 增长，起始于第 T_a 个周期；另一种用于数据损失（λ_S），以速率 α_S 每 T 个周期从 λ_S0 开始退火。
• 使用损失的加权和：L_total = λ_S × L_data + λ_C × L_PG，其中 λ_S 和 λ_C 在训练过程中动态调整，以平衡相互竞争的目标。
• 将该框架应用于两个领域中的特征值问题求解：一维量子谐振子和光子晶体中的二维电磁波传播。
• 使用带有自适应损失方案的随机梯度下降进行模型训练，确保无论初始化如何，均可收敛至全局最小值。
• 通过相对特征方程误差和与真实特征向量的重叠积分等指标验证性能。

实验结果

研究问题

• RQ1 自适应平衡相互竞争的物理引导损失函数是否能提升神经网络求解特征值问题的泛化能力？
• RQ2 在多个物理约束导致梯度冲突的情况下，损失权重的动态调整如何影响收敛至全局最小值的过程？
• RQ3 与单独使用任一损失相比，结合标注数据损失与物理引导损失在多大程度上提升了模型的稳定性与预测准确性？
• RQ4 当处理大规模输入批量时，CoPhy-PGNN 在推理性能方面如何实现可扩展性，尤其与传统迭代求解器相比？
• RQ5 该模型是否能在不同物理系统（如量子与电磁问题）之间实现泛化，且适用于不同类型物理引导损失函数？

主要发现

• 与基线神经网络相比，CoPhy-PGNN 显著降低了相对特征方程误差，在许多测试案例中实现了接近零的误差。
• 该模型表现出优越的泛化能力，其预测结果中，有极高比例的预测与真实特征向量完全重叠（1.0）或完全无重叠（0.0），表明其在识别有效特征向量方面具有鲁棒性。
• 重叠积分的直方图显示，CoPhy-PGNN 要么预测正确特征向量，要么预测完全正交的特征向量，而基线模型则表现出中间值的重叠，表明其预测更清晰。
• 在批量大小为一百万时，CoPhy-PGNN 在 TITAN RTX GPU 上实现了每秒超过三亿个输入的处理速度，展现出卓越的运行时可扩展性。
• 结合标注数据损失与自适应PG损失，使损失景观更平坦且更稳定，从而有助于提升泛化能力。
• 在准确性和一致性方面，该模型均优于黑箱神经网络与标准PGNN，尤其在推广至未见过的物理构型时表现更优。