[论文解读] Learning Partial Differential Equations in Reproducing Kernel Hilbert Spaces

George Stepaniants|arXiv (Cornell University)|Aug 26, 2021

Model Reduction and Neural Networks被引用 8

一句话总结

该论文提出了一种数据驱动方法，通过在再生核希尔伯特空间（RKHS）中将问题表述为函数线性回归，以学习线性偏微分方程（PDE）的格林函数，从而实现平滑性正则化和结构约束。其关键贡献是一个通用的表示定理，将无限维学习问题简化为有限维参数估计，实现了在不同网格分辨率和噪声水平下的鲁棒泛化。

ABSTRACT

We propose a new data-driven approach for learning the fundamental solutions (Green's functions) of various linear partial differential equations (PDEs) given sample pairs of input-output functions. Building off the theory of functional linear regression (FLR), we estimate the best-fit Green's function and bias term of the fundamental solution in a reproducing kernel Hilbert space (RKHS) which allows us to regularize their smoothness and impose various structural constraints. We derive a general representer theorem for operator RKHSs to approximate the original infinite-dimensional regression problem by a finite-dimensional one, reducing the search space to a parametric class of Green's functions. In order to study the prediction error of our Green's function estimator, we extend prior results on FLR with scalar outputs to the case with functional outputs. Finally, we demonstrate our method on several linear PDEs including the Poisson, Helmholtz, Schr\\"{o}dinger, Fokker-Planck, and heat equation. We highlight its robustness to noise as well as its ability to generalize to new data with varying degrees of smoothness and mesh discretization without any additional training.

研究动机与目标

• 开发一种从输入-输出数据对中学习线性PDE基本解（格林函数）的数据驱动方法。
• 解决依赖网格的代理模型在网格细化时需要重新训练的局限性。
• 通过RKHS结构直接将物理约束（如因果性、时间不变性、对称性）融入学习框架。
• 提供一种理论基础坚实的正则化格林函数估计方法，使其在未见数据和不同噪声水平下具有良好的泛化能力。

提出的方法

• 在再生核希尔伯特空间（RKHS）中将PDE解映射表述为函数线性回归问题，其中格林函数被估计为一个平滑算子。
• 推导出算子RKHS的通用表示定理，将无限维估计问题简化为有限维参数形式。
• 通过核结构的对称化与投影，构建适用于因果性、反因果性和时间不变性函数的专用RKHS。
• 利用再生性质，将格林函数估计器表示为以训练数据点为中心的核函数的线性组合。
• 通过时间域上的指示函数施加因果性约束，通过卷积核结构施加时间不变性约束。
• 利用同时对角化技术高效计算RKHS中的解，实现快速且稳定的数值求解。

实验结果

研究问题

• RQ1 我们能否在不了解PDE微分算子或边界条件的前提下，仅从输入-输出数据对中学习线性PDE的格林函数？
• RQ2 如何对学习到的格林函数进行正则化，以确保在噪声或粗粒度数据下的平滑性和稳定性？
• RQ3 所学算子在面对具有不同平滑度或网格离散化水平的新输入函数时，其泛化能力能达到何种程度？
• RQ4 如何将因果性和时间不变性等结构约束直接嵌入RKHS框架中，以提升物理一致性？
• RQ5 在具有函数输出的函数线性回归设置下，所学格林函数估计器的理论预测误差界是什么？

主要发现

• 所提方法在无需重新训练的情况下，对具有不同平滑度和网格离散化程度的新数据实现了鲁棒泛化。
• 学习到的格林函数估计器在噪声环境下表现出稳定性，展现出在实际数据场景中的抗干扰能力。
• 表示定理使得无限维格林函数的有限维参数近似成为可能，显著提升了方法的计算可行性。
• 该方法成功学习了多种PDE的格林函数，包括泊松方程、亥姆霍兹方程、薛定谔方程、福克-普朗克方程和热传导方程。
• 通过核设计可直接将因果性等结构约束嵌入RKHS，显著提升了物理合理性。
• 采用卷积核结构表示时间不变函数，将参数数量从O(m²)减少至O(m)，显著降低了计算复杂度和内存占用。