[论文解读] Separable PINN: Mitigating the Curse of Dimensionality in Physics-Informed Neural Networks

Junwoo Cho, Seungtae Nam+4 more|arXiv (Cornell University)|Nov 16, 2022

Model Reduction and Neural Networks被引用 13

一句话总结

本文提出了一种新型物理信息神经网络架构——可分PINN（SPINN），通过将多维输入分解为独立的一维子网络，并利用外积组合输出，有效缓解了维度灾难问题。通过利用前向模式自动微分，SPINN将FLOPs和训练耗时从O(n^d)降低至O(nd)，在保持或提升线性和非线性PDE求解精度的同时，实现最高57倍的训练加速和40倍的内存使用降低。

ABSTRACT

Physics-informed neural networks (PINNs) have emerged as new data-driven PDE solvers for both forward and inverse problems. While promising, the expensive computational costs to obtain solutions often restrict their broader applicability. We demonstrate that the computations in automatic differentiation (AD) can be significantly reduced by leveraging forward-mode AD when training PINN. However, a naive application of forward-mode AD to conventional PINNs results in higher computation, losing its practical benefit. Therefore, we propose a network architecture, called separable PINN (SPINN), which can facilitate forward-mode AD for more efficient computation. SPINN operates on a per-axis basis instead of point-wise processing in conventional PINNs, decreasing the number of network forward passes. Besides, while the computation and memory costs of standard PINNs grow exponentially along with the grid resolution, that of our model is remarkably less susceptible, mitigating the curse of dimensionality. We demonstrate the effectiveness of our model in various PDE systems by significantly reducing the training run-time while achieving comparable accuracy. Project page: https://jwcho5576.github.io/spinn/

研究动机与目标

• 为解决标准PINN在高维PDE中因自动微分开销导致的高计算成本与指数级扩展问题。
• 通过重新设计网络架构，减少前向与反向传播次数，缓解PINN训练中的维度灾难问题。
• 实现在普通硬件上高效、可扩展的PINN训练，且不损失求解精度。
• 证明通过前向模式AD实现的因子化、逐轴处理方法，能显著降低多维PDE中的FLOPs与实际耗时。

提出的方法

• SPINN将解函数分解为独立的一维子网络，每个子网络处理单一空间或时间坐标。
• 最终解通过子网络输出的外积与逐元素求和计算得出，避免对完整多维输入的处理。
• 在每个轴上应用前向模式自动微分，大幅减少梯度计算所需的前向传播次数。
• 采用损失函数在无监督条件下强制满足PDE残差、初始条件与边界条件。
• 避免对完整坐标张量的逐点评估，将网络评估次数从O(n^d)降低至O(nd)。
• SPINN利用可分函数的数学结构，通过前向模式AD实现高效的梯度计算。

实验结果

研究问题

• RQ1 重构后的PINN架构能否有效降低高维PDE中自动微分的计算负担？
• RQ2 通过架构设计，能否高效地利用前向模式AD于PINN训练中？
• RQ3 因子化、逐轴处理的方法是否能有效缓解PINN训练中的维度灾难问题？
• RQ4 在多种PDE类型下，SPINN与标准PINN在训练速度、内存使用与求解精度方面表现如何？

主要发现

• 在(2+1)-维Klein-Gordon方程上，SPINN相比标准PINN实现最高57倍的训练加速，且精度保持一致。
• 在Helmholtz方程上，SPINN相比基线模型将训练时间减少56倍、内存使用降低41倍，即使在更高分辨率下亦成立。
• 对于线性和非线性扩散方程，SPINN在180³个配点下，内存使用减少40倍，训练速度提升49倍，优于基线模型。
• 随着分辨率提升，SPINN保持或提升了求解精度，而基线模型的误差过早收敛，且训练时间呈指数增长。
• 当从线性扩散方程切换至Helmholtz方程时，SPINN的训练时间仅增加12%，而基线模型增加了28%，表明其对PDE阶数具有更强鲁棒性。
• 可视化结果证实，即使在Helmholtz等刚性问题中，SPINN的解也与FEniCS的参考解高度吻合。