[论文解读] A Discontinuity Capturing Shallow Neural Network for Elliptic Interface Problems

Wei-Fan Hu, Te‐Sheng Lin+1 more|arXiv (Cornell University)|Jun 10, 2021

Model Reduction and Neural Networks参考文献 19被引用 10

一句话总结

该论文提出了一种间断捕获浅层神经网络（DCSNN），用于求解解及其导数存在跳跃间断的椭圆型界面问题。通过增加一个额外坐标以表示子域，该方法将分段连续问题转化为 (d+1) 维空间中的连续问题，从而可利用单隐藏层网络实现精确逼近。该方法仅用几百个参数即实现高精度，且在六维问题中仍优于传统的浸入界面法（IIM）。

ABSTRACT

In this paper, a new Discontinuity Capturing Shallow Neural Network (DCSNN) for approximating $d$-dimensional piecewise continuous functions and for solving elliptic interface problems is developed. There are three novel features in the present network; namely, (i) jump discontinuities are accurately captured, (ii) it is completely shallow, comprising only one hidden layer, (iii) it is completely mesh-free for solving partial differential equations. The crucial idea here is that a $d$-dimensional piecewise continuous function can be extended to a continuous function defined in $(d+1)$-dimensional space, where the augmented coordinate variable labels the pieces of each sub-domain. We then construct a shallow neural network to express this new function. Since only one hidden layer is employed, the number of training parameters (weights and biases) scales linearly with the dimension and the neurons used in the hidden layer. For solving elliptic interface problems, the network is trained by minimizing the mean square error loss that consists of the residual of the governing equation, boundary condition, and the interface jump conditions. We perform a series of numerical tests to demonstrate the accuracy of the present network. Our DCSNN model is efficient due to only a moderate number of parameters needed to be trained (a few hundred parameters used throughout all numerical examples), and the results indicate good accuracy. Compared with the results obtained by the traditional grid-based immersed interface method (IIM), which is designed particularly for elliptic interface problems, our network model shows a better accuracy than IIM. We conclude by solving a six-dimensional problem to demonstrate the capability of the present network for high-dimensional applications.

研究动机与目标

• 开发一种无网格、浅层神经网络，以准确捕捉椭圆型界面问题解中的跳跃间断。
• 克服深度网络和传统方法在处理具有不连续导数的非光滑解时的局限性。
• 通过利用具有线性参数量的浅层结构，实现高维椭圆型PDE的高效求解。
• 提供一种简单、可解释的神经网络架构，在避免深层堆叠的同时保持高精度。
• 在不规则域和高维问题（最高至 d=6）上展示该方法的鲁棒性。

提出的方法

• 通过增加一个额外坐标来扩展 d 维问题域，以标记子域，将分段连续函数转化为 (d+1) 维空间中的连续函数。
• 构建一个仅含一个隐藏层的浅层全连接前馈神经网络，以逼近扩展后的连续函数。
• 通过最小化结合PDE残差、边界条件和界面跳跃条件的物理信息损失函数来训练网络。
• 基于通用逼近定理论证，说明网络能够准确表示扩展后的函数。
• 通过调整隐藏层中的神经元数量来控制逼近精度，而无需增加网络深度。
• 实现无网格方法，避免域离散化，从而可应用于复杂且高维的域。

实验结果

研究问题

• RQ1 仅含一个隐藏层的浅层神经网络能否准确逼近具有跳跃间断的分段连续函数？
• RQ2 所提出的 DCSNN 方法能否在求解椭圆型界面问题时优于传统基于网格的方法（如浸入界面法 IIM）？
• RQ3 在高维问题（如 d=6）中，DCSNN 的表现如何，而传统方法在高维下易受维数灾难影响？
• RQ4 DCSNN 的无网格、参数高效架构是否能在仅几百个可训练参数下保持高精度？
• RQ5 DCSNN 在高维设置下的训练行为和收敛速率如何变化？

主要发现

• 在具有 220,1776 个自由度的二维界面问题中，DCSNN 的最大绝对误差为 3.276×10⁻⁵，优于 IIM。
• 在三维问题中，DCSNN 的 L² 误差为 5.809×10⁻⁷，仅使用 17,194,216 个自由度，表明在中等参数量下仍具有高精度。
• 在六维椭圆型界面问题中，DCSNN 的 L∞ 误差为 1.689×10⁻⁴，仅使用 91 个可训练参数（N=10），表明其在高维下具有强大可扩展性。
• 训练损失和 L∞ 误差在 100 次迭代内趋于平稳，表明收敛迅速，但高维性限制了进一步提升。
• 即使增加训练点，模型仍保持高精度，表明收敛受限于维度而非数据量。
• DCSNN 模型仅用 451 个参数（N=50）即可求解六维问题，相比传统方法展现出极高的参数效率。