[论文解读] Local Randomized Neural Networks with Discontinuous Galerkin Methods for Partial Differential Equations

Jingbo Sun, Suchuan Dong+1 more|arXiv (Cornell University)|Jun 11, 2022

Model Reduction and Neural Networks被引用 6

一句话总结

本文提出将局部随机神经网络（LRNN）与不连续伽辽金（DG）方法结合，用于求解偏微分方程（PDEs），在子域上采用最小二乘法训练，并利用DG方法在界面处强制实现弱连续性。LRNN-DG框架在相同自由度下相较于有限元法和标准DG方法表现出更高的精度，证明其在椭圆型（泊松方程）和抛物型（热方程）问题中具有更优的效率与收敛性。

ABSTRACT

Randomized neural networks (RNN) are a variation of neural networks in which the hidden-layer parameters are fixed to randomly assigned values and the output-layer parameters are obtained by solving a linear system by least squares. This improves the efficiency without degrading the accuracy of the neural network. In this paper, we combine the idea of the local RNN (LRNN) and the discontinuous Galerkin (DG) approach for solving partial differential equations. RNNs are used to approximate the solution on the subdomains, and the DG formulation is used to glue them together. Taking the Poisson problem as a model, we propose three numerical schemes and provide the convergence analyses. Then we extend the ideas to time-dependent problems. Taking the heat equation as a model, three space-time LRNN with DG formulations are proposed. Finally, we present numerical tests to demonstrate the performance of the methods developed herein. We compare the proposed methods with the finite element method and the usual DG method. The LRNN-DG methods can achieve better accuracy under the same degrees of freedom, signifying that this new approach has a great potential for solving partial differential equations.

研究动机与目标

• 解决全连接训练神经网络求解PDE时计算成本高且精度有限的问题。
• 通过在隐藏层中采用随机权重，克服传统神经网络求解器效率低下和收敛性差的缺陷。
• 构建一种域分解框架，将局部神经网络近似与DG方法结合，以弱形式实现界面连续性。
• 通过时空统一格式将该方法扩展至时间依赖问题，提升稳定性和精度。
• 证明所提出的LRNN-DG方法在单位自由度精度方面优于传统有限元法和DG方法。

提出的方法

• 采用局部随机神经网络（LRNN），其中隐藏层权重随机固定，输出层权重通过最小二乘回归求解。
• 将计算域分解为子域，在每个单元上使用LRNN求解局部PDE解。
• 应用内罚不连续伽辽金（IPDG）格式，通过数值通量在子域界面耦合局部LRNN解。
• 利用$C^0$和$C^1$ DG格式弱形式强制实现解及其导数的连续性，无需引入罚参数。
• 通过将时间和空间视为单一域，构建时空LRNN-DG格式，实现对时间依赖PDE的自然处理。
• 通过在组装后的全局系统上使用最小二乘法求解，确保方法的稳定性和高效性。

实验结果

研究问题

• RQ1 局部随机神经网络结合DG耦合能否在椭圆型PDE上实现比标准有限元法和DG方法更高的精度？
• RQ2 在保持自由度数量不变的情况下，LRNN-DG方法与FEM和经典DG方法相比表现如何？
• RQ3 时空LRNN-DG格式能否有效求解时间依赖PDE（如热方程），并减少误差累积？
• RQ4 在DG框架中强制实施$C^0$和$C^1$连续性条件对解的精度与稳定性有何影响？
• RQ5 为何LRNN-DG方法的数值误差在达到某一自由度阈值后趋于停滞？该问题如何缓解？

主要发现

• 对于$ h = 2^{-9} $和$ \Delta t = 2^{-18} $的热方程，在$ t=1 $时，LRNN-DG方法的$ L^2 $误差为$ 1.49 \times 10^{-5} $，$ H^1 $误差为$ 1.51 \times 10^{-4} $，优于相同网格分辨率下的$ P_2 $ FEM与后向欧拉格式。
• 时空LRNN-DG方法随时间推移误差累积极小，而FEM因时间推进过程导致显著误差积累。
• LRNN-$ C^0 $ DG与LRNN-$ C^1 $ DG方法的绝对误差低于LRNN-DG与FEM，尽管存在更高振幅的振荡，表明其具有更优的局部精度。
• 所提方法在$ C^0 $和$ C^1 $ DG格式中无需罚参数，简化了实现过程并提升了稳定性。
• LRNN-DG方法保持了平滑的误差分布，而FEM表现出强烈的误差积累，凸显了时空方法的鲁棒性。
• 数值结果证实，LRNN-DG方法在相同自由度下精度优于FEM与标准DG方法，表明其具有更优的效率与逼近能力。