[论文解读] Solving PDEs on Unknown Manifolds with Machine Learning

Senwei Liang, Shixiao W. Jiang+2 more|arXiv (Cornell University)|Jun 12, 2021

Model Reduction and Neural Networks参考文献 110被引用 7

一句话总结

该论文提出了一种基于深度学习的无网格框架，用于在仅由点云表示的未知流形上求解椭圆型偏微分方程（PDE），利用扩散映射（diffusion maps）近似流形拉普拉斯算子，并通过最小二乘法最小化训练神经网络。该方法在数据量足够大时，能一致收敛至真实解，且对于宽度足够大的两层神经网络，梯度下降可保证收敛至全局最小值。

ABSTRACT

This paper proposes a mesh-free computational framework and machine learning theory for solving elliptic PDEs on unknown manifolds, identified with point clouds, based on diffusion maps (DM) and deep learning. The PDE solver is formulated as a supervised learning task to solve a least-squares regression problem that imposes an algebraic equation approximating a PDE (and boundary conditions if applicable). This algebraic equation involves a graph-Laplacian type matrix obtained via DM asymptotic expansion, which is a consistent estimator of second-order elliptic differential operators. The resulting numerical method is to solve a highly non-convex empirical risk minimization problem subjected to a solution from a hypothesis space of neural networks (NNs). In a well-posed elliptic PDE setting, when the hypothesis space consists of neural networks with either infinite width or depth, we show that the global minimizer of the empirical loss function is a consistent solution in the limit of large training data. When the hypothesis space is a two-layer neural network, we show that for a sufficiently large width, gradient descent can identify a global minimizer of the empirical loss function. Supporting numerical examples demonstrate the convergence of the solutions, ranging from simple manifolds with low and high co-dimensions, to rough surfaces with and without boundaries. We also show that the proposed NN solver can robustly generalize the PDE solution on new data points with generalization errors that are almost identical to the training errors, superseding a Nystrom-based interpolation method.

研究动机与目标

• 开发一种无网格数值方法，用于在仅有点云数据且无已知参数化表达时求解流形上的椭圆型PDE。
• 克服传统方法（如网格生成、径向基函数RBF、基于DM的求解器）在需要插值或计算成本过高的局限性。
• 利用深度神经网络作为PDE解的假设空间，实现对新数据点的泛化能力。
• 在适定椭圆型条件下，为所提出的基于学习的PDE求解器建立理论收敛保证。
• 在具有不同复杂度的流形（包括高共维、粗糙曲面及带边界的流形）上展示方法的稳健性能。

提出的方法

• 通过最小化一个强制PDE及其边界条件代数成立的最小二乘损失函数，将PDE解的求解表述为监督学习任务。
• 使用扩散映射（DM）构建图拉普拉斯矩阵，该矩阵渐近逼近流形的二阶微分算子。
• 构建一种数值格式，通过涉及基于DM的拉普拉斯算子与神经网络输出的矩阵方程来强制实施PDE。
• 使用梯度下降训练深度神经网络以最小化经验风险，并引入正则化以稳定训练过程。
• 采用宽度足够大的两层ReLU网络，以确保梯度下降收敛至经验损失函数的全局最小值。
• 使用宽度或深度趋于无穷的神经网络假设空间，证明在大数据量极限下全局最小值的一致性。

实验结果

研究问题

• RQ1 深度神经网络求解器能否从点云数据中实现对未知流形上椭圆型PDE真实解的一致收敛？
• RQ2 所提出的方法能否在训练集之外的新、未见的数据点上实现良好泛化？
• RQ3 当假设空间为宽度足够大的两层神经网络时，梯度下降能否收敛至非凸经验风险的全局最小值？
• RQ4 该方法在高共维、粗糙性或具有边界的流形上的表现如何？
• RQ5 神经网络的宽度与梯度下降收敛至全局解之间的理论关系是什么？

主要发现

• 当假设空间由无限宽或无限深的神经网络构成时，经验损失函数的全局最小值在训练数据量趋于无穷时收敛至真实的PDE解。
• 对于宽度足够大的两层ReLU网络，梯度下降收敛至经验损失函数的全局最小值，且收敛速率受 $ \exp\left(-\frac{\lambda_S \lambda_A t}{N}\right) $ 限制。
• 所提出的方法对新数据点具有稳健的泛化能力，泛化误差几乎与训练误差相同，优于Nyström插值方法。
• 数值实验验证了在低共维与高共维流形（包括球面、环面、半环面，以及野兔和人脸等复杂形状）上使用狄利克雷边界条件的收敛性。
• 该方法对粗糙曲面和边界条件具有鲁棒性，在不同数据密度和环境维度下均保持一致性能。
• 在不同示例中进行超参数调优的结果表明，随着数据量增加，性能稳定，支持理论收敛性结论。