[论文解读] Bridging Traditional and Machine Learning-based Algorithms for Solving PDEs: The Random Feature Method

Jingrun Chen, Xurong Chi+2 more|arXiv (Cornell University)|Jul 27, 2022

Image Processing and 3D Reconstruction被引用 8

一句话总结

本文提出了随机特征方法（RFM），这是一种无网格算法，旨在弥合传统数值求解器与现代机器学习方法在求解偏微分方程（PDEs）方面的差距。通过结合随机特征函数、配点法以及缩放损失优化，RFM 实现了谱精度，并在具有复杂几何结构的低维 PDE 问题上优于传统方法和基于深度学习的基线模型。

ABSTRACT

One of the oldest and most studied subject in scientific computing is algorithms for solving partial differential equations (PDEs). A long list of numerical methods have been proposed and successfully used for various applications. In recent years, deep learning methods have shown their superiority for high-dimensional PDEs where traditional methods fail. However, for low dimensional problems, it remains unclear whether these methods have a real advantage over traditional algorithms as a direct solver. In this work, we propose the random feature method (RFM) for solving PDEs, a natural bridge between traditional and machine learning-based algorithms. RFM is based on a combination of well-known ideas: 1. representation of the approximate solution using random feature functions; 2. collocation method to take care of the PDE; 3. the penalty method to treat the boundary conditions, which allows us to treat the boundary condition and the PDE in the same footing. We find it crucial to add several additional components including multi-scale representation and rescaling the weights in the loss function. We demonstrate that the method exhibits spectral accuracy and can compete with traditional solvers in terms of both accuracy and efficiency. In addition, we find that RFM is particularly suited for complex problems with complex geometry, where both traditional and machine learning-based algorithms encounter difficulties.

研究动机与目标

• 解决传统求解器在处理复杂几何结构时的局限性，以及网格生成带来的高计算成本问题。
• 克服基于深度学习的 PDE 求解器在低维问题中可靠性与效率不足的问题，而这些问题传统方法通常占主导地位。
• 开发一个统一框架，兼具谱方法的精度与无网格学习方法在几何灵活性方面的优势。
• 证明基于随机特征的简单、可解释的算法无需端到端神经网络训练即可实现具有竞争力的性能。
• 建立一种实用且可扩展的方法，用于求解具有复杂区域的挑战性 PDE 问题，如弹性力学、均质化问题和斯托克斯流。

提出的方法

• 使用受机器学习中随机特征模型启发的随机特征函数表示近似解。
• 在一组配点上以最小二乘意义应用配点法，强制满足 PDE 及边界条件。
• 采用罚函数法将边界条件与 PDE 残差同等对待，实现统一优化。
• 在损失函数中引入权重重缩放，以平衡 PDE 与边界条件的贡献，提升训练稳定性。
• 引入多尺度随机特征表示，以增强逼近能力并适应特定问题的结构特征。
• 使用预计算的随机特征集合，通过随机梯度下降优化损失函数，避免完整的神经网络反向传播。

实验结果

研究问题

• RQ1 基于简单、不可训练的随机特征方法能否实现与传统高阶方法相当的谱精度？
• RQ2 在具有复杂几何结构的低维 PDE 问题中，所提出的 RFM 是否在准确性和效率方面优于标准的有限元方法（FEM）？
• RQ3 在具有精确解的基准 PDE 问题（如弹性力学、均质化问题和斯托克斯流）中，RFM 的表现如何？
• RQ4 对损失分量进行重缩放在多大程度上能提升使用随机特征求解 PDE 时的收敛性与稳定性？
• RQ5 在经典方法与深度学习求解器均表现困难的多尺度或高条件数问题中，RFM 是否能有效处理？

主要发现

• RFM 实现了谱收敛速率，误差随随机特征数量的增加呈指数级下降，表现出高阶精度。
• 在弹性力学问题中，当 $ N = 490176 $ 个自由度时，RFM 的 $ u $-误差为 $ 1.28 \times 10^0 $，$ v $-误差为 $ 1.12 \times 10^0 $，$ \sigma_x $-误差为 $ 1.29 \times 10^0 $，在相近自由度下优于 FEM。
• 在具有精确解的斯托克斯流问题中，当 $ N = 19488 $ 时，RFM 的 $ u $-误差为 $ 1.44 \times 10^{-7} $，$ v $-误差为 $ 1.03 \times 10^{-7} $，即使在具有挑战性的不可压缩流场景中也表现出高精度。
• 在均质化问题中，随着 $ N $ 从 25554 增加到 343586，$ u $-误差从 $ 1.42 \times 10^0 $ 降低至 $ 3.48 \times 10^{-3} $，显示出清晰的收敛趋势。
• RFM 在复杂几何问题（如弹性力学和斯托克斯流）中表现出鲁棒性与优越性能，而 FEM 需要昂贵的网格生成，ML 方法则常失效。
• 引入多尺度特征与损失重缩放显著提升了收敛性与稳定性，尤其在高条件数或非规则区域中表现更优。