[论文解读] Extreme learning machine collocation for the numerical solution of elliptic PDEs with sharp gradients

Francesco Calabrò, Gianluca Fabiani+1 more|arXiv (Cornell University)|Dec 10, 2020

Model Reduction and Neural Networks参考文献 61被引用 79

一句话总结

该论文提出了一种极限学习机（ELM）配置法，用于求解具有陡峭梯度（如边界层）的一维椭圆型PDE，通过固定单隐层前馈网络中sigmoid激活函数的内部权重和偏置。该方法通过求解线性最小二乘问题避免网络训练，从而实现高精度和计算效率，在陡峭梯度问题上，其误差和计算成本均优于有限差分法。

ABSTRACT

We introduce a new numerical method based on machine learning to approximate the solution of elliptic partial differential equations with collocation using a set of sigmoidal functions. We show that a feedforward neural network with a single hidden layer with sigmoidal functions and fixed, random, internal weights and biases can be used to compute accurately a collocation solution. The choice to fix internal weights and bias leads to the so-called Extreme Learning Machine network. We discuss how to determine the range for both internal weights and biases in order to obtain a good underlining approximating space, and we explore the required number of collocation points. We demonstrate the efficiency of the proposed method with several one-dimensional diffusion-advection-reaction problems that exhibit steep behaviors, such as boundary layers. The boundary conditions are imposed directly as collocation equations. We point out that there is no need of training the network, as the proposed numerical approach results to a linear problem that can be easily solved using least-squares. Numerical results show that the proposed method achieves a good accuracy. Finally, we compare the proposed method with finite differences and point out the significant improvements in terms of computational cost, thus avoiding the time-consuming training phase.

研究动机与目标

• 解决在边界层等具有陡峭梯度的椭圆型PDE数值求解挑战，其中经典方法（如有限差分法）易出现不稳定和振荡现象。
• 探索极限学习机（ELM）在求解微分方程中的适用性，特别是在传统ELM方法因难以逼近陡峭梯度而失效的情况下。
• 开发一种基于配置法的ELM框架，预先固定内部权重和偏置，从而消除网络训练需求，同时保持高精度。
• 在具有已知解析解的基准问题上（包括梳状轮廓和高佩克莱特数问题），展示该方法的鲁棒性和高效性。
• 将所提出的ELM配置法与高阶有限差分法进行比较，量化其在精度和计算成本上的改进。

提出的方法

• 使用具有sigmoid激活函数 σ(x) = 1 / (1 + exp(−x)) 的单隐层前馈神经网络，并预先固定随机选择的内部权重 αi 和偏置 βi。
• 将解表示为sigmoid函数的线性组合：G(x) = Σ wi σ(αi x + βi)，其中仅输出权重 wi 通过配置法学习。
• 在边界点处直接施加边界条件作为配置方程，确保狄利克雷条件被精确满足。
• 通过在 M 个配置点强制满足PDE，将数值解表述为线性方程组，形成欠定系统，并通过最小二乘法求解。
• 预先确定内部权重和偏置的范围，以确保具备足够的逼近能力，并覆盖解中陡峭梯度区域。
• 采用欠定配置方案（M < n）以避免病态并提高数值稳定性，尤其适用于较大的 n。

实验结果

研究问题

• RQ1 ELM网络在固定内部权重和偏置的情况下，是否能比传统方法更有效地逼近具有陡峭梯度的椭圆型PDE解？
• RQ2 内部权重和偏置范围的选择如何影响基于ELM的配置法的逼近质量？
• RQ3 为在避免病态的同时实现高精度，配置点数量 M 相对于神经元数量 n 的最优比例如何？
• RQ4 在具有边界层的问题中，ELM配置法在精度和计算成本上与高阶有限差分法相比如何？
• RQ5 ELM配置法能否在使用固定且不可训练的网络架构下，以极小的误差捕捉高度振荡或梳状解？

主要发现

• 所提出的ELM配置法在求解具有边界层的一维椭圆型PDE时实现了高精度，对于佩克莱特数高达500的问题，L2误差低于10−10。
• 对于具有10个零点和5个振荡（ε = 1/(10π)）的梳状解，当 n = 1280 个神经元和 M = n/2 个配置点时，L∞误差低于10−6。
• 该方法在误差和计算成本上均优于高阶有限差分法（FDM），尤其在高佩克莱特数和陡峭梯度问题中优势显著。
• ELM解为C∞光滑，而FDM解通常为分段多项式，光滑性较差。
• 即使将配置点数量 M 减少至 M = n/2，该方法仍保持稳定和高精度，表明其对欠定性的强鲁棒性。
• 由于无需网络训练，与标准基于神经网络的求解器相比，计算成本显著降低，使其在需要重复或快速求解的问题中极具效率。