[论文解读] Accelerating Physics-Informed Neural Network Training with Prior Dictionaries

Wei Peng, Weien Zhou+2 more|arXiv (Cornell University)|Apr 17, 2020

Model Reduction and Neural Networks参考文献 19被引用 27

一句话总结

本文提出了一种基于先验字典的物理信息神经网络（PD-PINNs），通过在融合层中引入与任务相关的先验字典来加速训练。该方法增强了模型的表征能力，使椭圆型PDE的求解实现更快收敛并提升精度，理论误差界证明：最小化PDE残差损失与边界条件损失可确保解接近真实解。

ABSTRACT

Physics-Informed Neural Networks (PINNs) can be regarded as general-purpose PDE solvers, but it might be slow to train PINNs on particular problems, and there is no theoretical guarantee of corresponding error bounds. In this manuscript, we propose a variant called Prior Dictionary based Physics-Informed Neural Networks (PD-PINNs). Equipped with task-dependent dictionaries, PD-PINNs enjoy enhanced representation power on the tasks, which helps to capture features provided by dictionaries so that the proposed neural networks can achieve faster convergence in the process of training. In various numerical simulations, compared with existing PINN methods, combining prior dictionaries can significantly enhance convergence speed. In terms of theory, we obtain the error bounds applicable to PINNs and PD-PINNs for solving elliptic partial differential equations of second order. It is proved that under certain mild conditions, the prediction error made by neural networks can be bounded by expected loss of PDEs and boundary conditions.

研究动机与目标

• 解决标准物理信息神经网络（PINNs）在求解PDE时收敛缓慢的问题。
• 通过结构化字典将先验知识融入PINNs，以提升训练效率与解的精度。
• 为求解二阶椭圆型PDE的PINNs建立理论误差界，确保损失最小化可导致预测误差较小。
• 证明PD-PINNs可在标准PINNs无法收敛的情况下恢复解。
• 提供一种将领域特定先验知识（如球谐函数、周期函数）整合到PINN架构中的框架。

提出的方法

• 提出一种带有字典融合层的PD-PINN架构，通过内积操作将神经网络输出与先验字典函数结合。
• 从已知基函数（如球谐函数、三角函数）构建先验字典，以适配问题所在领域。
• 修改神经网络输入层，引入提升操作（如将球坐标映射至三维笛卡尔空间），以保持几何一致性。
• 通过最小化组合损失函数来训练网络：在域内点上的PDE残差损失与在边界点上的边界条件损失。
• 采用蒙特卡洛采样，对域与边界上均匀分布的期望损失进行估计。
• 理论分析证明：在弱条件下，神经网络与真实解之间的无穷范数误差被期望的PDE损失与边界损失所控制。

实验结果

研究问题

• RQ1 能否利用先验字典加速PINNs求解PDE的训练？
• RQ2 通过字典引入先验知识如何影响PINNs训练的收敛速度与解的精度？
• RQ3 能否为求解二阶椭圆型PDE的PINNs建立理论误差界？
• RQ4 在何种条件下，最小化PDE损失与边界损失可导致预测误差在无穷范数下较小？
• RQ5 PD-PINNs能否恢复标准PINNs无法收敛的解？

主要发现

• PD-PINNs在所有测试的PDE问题中均实现比标准PINNs更快的收敛速度，包括球面上的泊松方程与一维扩散方程。
• 在球面上的泊松问题中，PINNs在2000次迭代内未能收敛，而PD-PINNs以低于0.001的误差成功恢复了真实解。
• 在一维扩散方程中，使用21个元素的三角函数字典的PD-PINNs显著优于标准PINNs，损失与预测误差均大幅降低。
• 理论分析表明，无穷范数下的预测误差被期望的PDE损失与边界条件损失所控制，为收敛提供了理论保障。
• 通过提升层将球坐标映射至三维空间，显著提升了球谐函数实验中的几何一致性与解的质量。
• 所提方法具有良好的泛化性：成功将多种先验字典（球谐函数、三角函数）整合至不同领域与PDE类型中。