[论文解读] Learning Physics-Informed Neural Networks without Stacked Back-propagation

Di He, Shanda Li+6 more|arXiv (Cornell University)|Feb 18, 2022

Model Reduction and Neural Networks被引用 9

一句话总结

本文提出了一种物理信息神经网络（PINN）训练方法，通过使用高斯平滑模型和Stein恒等式，消除了计算二阶导数时所需的堆叠反向传播，实现了高效、可扩展的训练，且不损失精度。该方法通过蒙特卡洛导数估计器替代梯度计算，显著提升了训练速度，在高达250个维度的PDE基准测试中得到验证。

ABSTRACT

Physics-Informed Neural Network (PINN) has become a commonly used machine learning approach to solve partial differential equations (PDE). But, facing high-dimensional secondorder PDE problems, PINN will suffer from severe scalability issues since its loss includes second-order derivatives, the computational cost of which will grow along with the dimension during stacked back-propagation. In this work, we develop a novel approach that can significantly accelerate the training of Physics-Informed Neural Networks. In particular, we parameterize the PDE solution by the Gaussian smoothed model and show that, derived from Stein's Identity, the second-order derivatives can be efficiently calculated without back-propagation. We further discuss the model capacity and provide variance reduction methods to address key limitations in the derivative estimation. Experimental results show that our proposed method can achieve competitive error compared to standard PINN training but is significantly faster. Our code is released at https://github.com/LithiumDA/PINN-without-Stacked-BP.

研究动机与目标

• 解决在求解高维二阶偏微分方程（PDE）时，物理信息神经网络（PINN）面临的可扩展性瓶颈。
• 克服传统PINN损失函数中为计算二阶导数而必须使用堆叠反向传播所带来的高计算成本。
• 开发一种方法，利用Stein恒等式和蒙特卡洛估计，实现无需反向传播的二阶导数高效计算。
• 在降低导数估计方差的同时保持模型表达能力，确保训练稳定。
• 证明所提方法在高维PDE上可实现与基线模型相当的精度，同时显著提升训练速度。

提出的方法

• 将PDE解参数化为高斯平滑模型：$ u(x;\theta) = \mathbb{E}_{\delta \sim \mathcal{N}(0,\sigma^2\mathbf{I})}[f(x+\delta;\theta)] $，其中 $ f $ 为基础神经网络。
• 利用Stein恒等式将 $ u $ 的二阶导数重述为对基础网络 $ f $ 的期望，从而实现无需反向传播的导数计算。
• 在前向传播过程中，使用蒙特卡洛采样估计PDE残差损失中的导数项。
• 应用方差减少技术——控制变量和对称变量，以稳定训练，尤其适用于高阶导数。
• 仅对通过前向传播导数估计器计算的损失执行一次反向传播，极大降低计算开销。
• 调节噪声水平 $ \sigma $ 以平衡模型表达能力与数值稳定性，实验表明 $ \sigma \leq 0.1 $ 可有效保持精度。

实验结果

研究问题

• RQ1 是否能够通过避免堆叠反向传播来计算PINN损失函数中的二阶导数，从而提升训练效率？
• RQ2 高斯平滑与Stein恒等式如何实现高维PDE中无需反向传播的导数估计？
• RQ3 噪声水平 $ \sigma $ 对高斯平滑PINN框架中模型容量与解精度有何影响？
• RQ4 方差减少技术（控制变量与对称变量）在稳定高阶导数估计方面有多有效？
• RQ5 所提方法在多大程度上可显著加速PINN训练，同时在高维PDE上保持具有竞争力的解精度？

主要发现

• 与标准PINN训练相比，所提方法在250维HJB方程上实现了相当的解精度，相对误差与基线模型相当。
• 通过消除堆叠反向传播，显著降低了训练时间，支持在分布式系统中高效并行化。
• 结合控制变量与对称变量的方差减少Stein导数估计器，相比原始估计器，二阶导数的近似误差可降低最多100倍。
• 较小的噪声水平 $ \sigma \leq 0.1 $ 为最优模型表达能力选择，因为 $ \sigma = 1 $ 会导致因函数类表示不足而产生高相对误差。
• 即使在小样本量下（如 $ K = 256 $）仍保持高鲁棒性与高效性，性能随 $ K $ 增加而逐步提升。
• 训练时间几乎与 $ \sigma $ 无关，但极小的 $ \sigma $ 会因导数计算中存在 $ \sigma^4 $ 量级项而引发数值不稳定性，从而限制实际下限。