[论文解读] dNNsolve: an efficient NN-based PDE solver

Veronica Guidetti, Francesco Muia+2 more|arXiv (Cornell University)|Jan 1, 2021

Model Reduction and Neural Networks参考文献 54被引用 6

一句话总结

dNNsolve 是一种新颖的物理信息神经网络求解器，采用具有正弦和S型激活函数的双神经网络，无需对超参数进行微调，即可高效求解一维、二维和三维范围广泛的常微分方程（ODE）和偏微分方程（PDE）。通过利用专门设计的架构，自适应地结合周期性和非周期性基函数，实现最优解表示，其精度极高——一维问题低于 10⁻⁵，二维和三维问题低于 10⁻⁶。

ABSTRACT

Neural Networks (NNs) can be used to solve Ordinary and Partial Differential Equations (ODEs and PDEs) by redefining the question as an optimization problem. The objective function to be optimized is the sum of the squares of the PDE to be solved and of the initial/boundary conditions. A feed forward NN is trained to minimise this loss function evaluated on a set of collocation points sampled from the domain where the problem is defined. A compact and smooth solution, that only depends on the weights of the trained NN, is then obtained. This approach is often referred to as PINN, from Physics Informed Neural Network~\cite{raissi2017physics_1, raissi2017physics_2}. Despite the success of the PINN approach in solving various classes of PDEs, an implementation of this idea that is capable of solving a large class of ODEs and PDEs with good accuracy and without the need to finely tune the hyperparameters of the network, is not available yet. In this paper, we introduce a new implementation of this concept - called dNNsolve - that makes use of dual Neural Networks to solve ODEs/PDEs. These include: i) sine and sigmoidal activation functions, that provide a more efficient basis to capture both secular and periodic patterns in the solutions; ii) a newly designed architecture, that makes it easy for the the NN to approximate the solution using the basis functions mentioned above. We show that dNNsolve is capable of solving a broad range of ODEs/PDEs in 1, 2 and 3 spacetime dimensions, without the need of hyperparameter fine-tuning.

研究动机与目标

• 开发一种基于神经网络的PDE求解器，能够高效处理多种ODE和PDE，而无需进行大量超参数调优。
• 通过在双网络架构中结合正弦和S型激活函数，提高解的精度和表示效率。
• 通过自适应加权损失分量，解决因正弦激活函数导致损失曲面中局部极小值引发的收敛问题。
• 通过仅存储网络权重和架构，相比传统的有限差分法和有限元法，显著降低内存和计算成本。
• 实现对多时空维度下ODE和PDE的鲁棒、通用求解，用户干预极少。

提出的方法

• dNNsolve采用两个并行的神经网络分支：一个使用正弦激活函数以捕捉周期性模式，另一个使用S型激活函数以表示长期或非周期性行为。
• 两个分支的输出通过逐元素相乘进行组合，形成更丰富、自适应的解表示基函数。
• 设计了一种定制化的网络架构，使网络能够学习在给定问题中哪些基函数（正弦、S型或其乘积）最为相关。
• 损失函数结合了域内PDE的平方残差、初始条件和边界条件，通过可调权重 α₀ 和 α∂Ω 平衡各项贡献，提升收敛性。
• 通过反向传播进行训练，以最小化总损失，最终解完全编码于训练后的网络权重中。
• 该方法在1D、2D和3D的ODE和PDE上进行了评估，包括谐振子、Burgers方程、热传导方程和波动方程，以及涡度方程。

实验结果

研究问题

• RQ1 具有正弦和S型激活函数的双神经网络架构，能否有效表示ODE和PDE中周期性和非周期性解分量的组合？
• RQ2 dNNsolve是否能在无需超参数微调的情况下，对一维、二维和三维的多种ODE和PDE实现高精度求解？
• RQ3 自适应损失加权（α₀, α∂Ω）在具有复杂边界条件的问题中，对收敛性和解质量有何影响？
• RQ4 与标准PINN方法相比，dNNsolve在基准PDE问题中，其精度和内存效率的提升程度如何？
• RQ5 dNNsolve能否以极低用户输入实现对挑战性问题（如边界值问题，例如孤子轮廓）和三维PDE的高保真求解？

主要发现

• 对于一维问题（如谐振子及其阻尼变体），dNNsolve实现的均方根误差低于 10⁻⁵，孤子轮廓解的精度也低于 10⁻⁵。
• 在二维PDE中，包括热传导方程和波动方程，dNNsolve在有利情况下精度低于 10⁻⁶，所有结果均低于 10⁻⁴，除热传导方程外。
• 在三维情况下，dNNsolve成功求解了涡度方程及其他PDE，精度低于 10⁻⁴，但需针对每种情况选择最优超参数 α₀ 和 α∂Ω，表明在高维情况下仍需轻微调优。
• 网络动态利用正弦和S型分支，冗余神经元会引入噪声，略微降低精度——提示未来工作需引入剪枝或正则化。
• dNNsolve在广泛问题中表现出稳健的收敛性，包括刚性ODE和延迟ODE，以及通常通过打靶法求解的边界值问题。
• 该方法将内存复杂度降低至仅网络架构和训练权重，相较于传统FD/FEM求解器需存储大规模离散化网格，具有显著优势。