[论文解读] Adaptive-Growth Randomized Neural Networks for PDEs: Algorithms and Numerical Analysis

Haoning Dang, Fei Wang+1 more|arXiv (Cornell University)|Aug 30, 2024

Neural Networks and Applications被引用 4

一句话总结

该论文提出自适应扩展型随机神经网络（AG-RNN），通过基于频率的初始化、残差驱动的网络扩展与区域分割，动态扩展网络宽度与深度，以求解具有陡峭或不连续解的偏微分方程（PDE）。该方法通过构造性地增加神经元与层，无需重新训练即可实现高精度求解，在具有不连续性或高频分量的复杂PDE问题中优于传统方法。

ABSTRACT

Randomized neural network (RaNN) methods have been proposed for solving various partial differential equations (PDEs), demonstrating high accuracy and efficiency. However, initializing the fixed parameters remains challenging. Additionally, RaNNs often struggle to approximate PDE solutions with sharp gradients or discontinuities when using smooth activations and shallow architectures. In this paper, we propose an Adaptive-Growth Randomized Neural Network (AG-RaNN) to address these challenges. We first design a frequency-based initialization for a shallow RaNN. Using the residual as an error indicator, we then adaptively grow the network in width (neuron growth) and depth (layer growth) to improve the accuracy of the numerical solution. The weights and biases of new neurons are constructed rather than trained, which enhances the approximation power without additional nonlinear optimization. To handle discontinuities, we further introduce a domain splitting strategy. We also establish a unified error analysis covering approximation, statistical, and optimization errors. Extensive numerical experiments demonstrate the efficiency and accuracy of AG-RaNN.

研究动机与目标

• 解决随机神经网络（RNN）在求解PDE时因初始化不佳和近似能力有限带来的挑战。
• 克服标准RNN在求解具有陡峭梯度或不连续解的PDE时的困难。
• 开发一种无网格、自适应的框架，通过无需重训练的动态扩展网络宽度与深度，提升解的精度。
• 引入区域分割，以比单网络方法更有效地处理不连续解。
• 在求解复杂PDE（包括高频振荡或激波问题）时，实现高精度与高效率。

提出的方法

• 利用PDE源项的傅里叶变换中的频率信息，指导网络权重与偏置的初始化，确保初始网络能捕捉主导解频率。
• 应用基于残差的误差指标，检测高误差区域，并指导现有隐藏层中神经元的扩展。
• 采用频率感知策略，构造性地添加新神经元及其自适应权重与偏置，避免反向传播，实现近似能力的即时提升。
• 通过添加具有优化参数的新隐藏层实现层扩展，增强网络对复杂、非光滑解模式的建模能力。
• 通过将计算区域划分为子区域，每个子区域由独立的AG-RNN求解，实现区域分割，更有效地处理不连续性。
• 采用$L^1$-范数停止准则控制扩展过程，当解的变化低于阈值（$varepsilon_s = 10^{-4}$）时停止扩展。

实验结果

研究问题

• RQ1 基于频率的参数初始化能否显著提升随机神经网络在PDE求解中的初始近似质量？
• RQ2 在具有复杂或振荡解的PDE中，无需重训练的自适应神经元扩展能否显著提升解的精度？
• RQ3 层扩展是否能增强网络捕捉PDE解中多尺度或非光滑特征的能力？
• RQ4 区域分割能否有效处理标准RNN失效的具有不连续或激波型解的PDE？
• RQ5 AG-RNN框架在精度与效率方面相较于有限元法或ELM等传统方法，在挑战性PDE问题中表现如何？

主要发现

• 基于频率的初始化策略显著提升了初始近似质量，在示例6中将初始相对$L^2$误差降低至1.8459e-01。
• 在$lambda=100$与$r_{\text{max}}=100$条件下，经过三个扩展阶段，神经元扩展将相对$L^2$误差从1.8459e-01降低至1.2029e-01，表明精度逐步提升。
• 通过增加一个包含$m_2=600$个神经元的新隐藏层，相对$L^2$误差降低至1.1055e-01，但受限于激活函数在不连续区域的连续性，效果有限。
• 采用$R=2$个子区域的区域分割在激波问题中实现了最低的相对$L^2$误差3.4999e-02，优于神经元与层扩展策略。
• AG-RNN框架在具有不连续性或高频分量的问题中，相比标准RNN与有限元方法，表现出更优的精度。
• $L^1$-范数停止准则有效控制了网络扩展，防止过拟合，并在解的变化低于$10^{-4}$时确保收敛。