[论文解读] Learning Green's functions associated with time-dependent partial differential equations

Nicolas Boullé, Seick Kim+2 more|arXiv (Cornell University)|Apr 27, 2022

Model Reduction and Neural Networks被引用 12

一句话总结

本文提出了一种理论上严格的方法，利用神经算子和随机化数值线性代数，首次实现对时变抛物型PDE的格林函数的高效学习。通过利用格林函数在分层低秩结构中的特性，并使用 $\mathcal{O}(\epsilon^{-(n+2)/2}\log(1/\epsilon))$ 个训练样本对，该方法在高概率下实现了 $\mathcal{O}(\Gamma_\epsilon^{-1/2}\epsilon)$ 的相对 $L^1$-误差，为时变PDE的科学机器学习提供了基础性的数据复杂度边界。

ABSTRACT

Neural operators are a popular technique in scientific machine learning to learn a mathematical model of the behavior of unknown physical systems from data. Neural operators are especially useful to learn solution operators associated with partial differential equations (PDEs) from pairs of forcing functions and solutions when numerical solvers are not available or the underlying physics is poorly understood. In this work, we attempt to provide theoretical foundations to understand the amount of training data needed to learn time-dependent PDEs. Given input-output pairs from a parabolic PDE in any spatial dimension $n\geq 1$, we derive the first theoretically rigorous scheme for learning the associated solution operator, which takes the form of a convolution with a Green's function $G$. Until now, rigorously learning Green's functions associated with time-dependent PDEs has been a major challenge in the field of scientific machine learning because $G$ may not be square-integrable when $n>1$, and time-dependent PDEs have transient dynamics. By combining the hierarchical low-rank structure of $G$ together with randomized numerical linear algebra, we construct an approximant to $G$ that achieves a relative error of $\smash{\mathcal{O}(Γ_ε^{-1/2}ε)}$ in the $L^1$-norm with high probability by using at most $\smash{\mathcal{O}(ε^{-\frac{n+2}{2}}\log(1/ε))}$ input-output training pairs, where $Γ_ε$ is a measure of the quality of the training dataset for learning $G$, and $ε>0$ is sufficiently small.

研究动机与目标

• 建立使用数据驱动方法学习时变PDE所需训练数据量的理论基础。
• 严格分析与抛物型PDE相关的格林函数的学习问题，这些格林函数在 $n > 1$ 维下不是平方可积的。
• 克服科学机器学习中由瞬态动力学和非平方可积格林函数带来的挑战。
• 通过与学习到的格林函数进行卷积，推导出解算子的可证明准确的近似方案。
• 提供一个数据复杂度边界，量化在 $L^1$-范数下实现期望相对误差所需的输入-输出样本对数量。

提出的方法

• 该方法利用格林函数在分离良好的区域上的分层低秩结构，将Bebendorf与Hackbusch（2003）的结果扩展至抛物型PDE。
• 采用随机化数值线性代数，特别是随机化SVD，以高效地在时空域的子域上近似格林函数。
• 该算法将域 $\mathcal{U} \times \mathcal{U}$ 划分为可接受的子域 $Q_X \times Q_Y$，并在这些子域上应用低秩近似。
• 通过概率误差分析，界定了真实格林函数 $G$ 与近似函数 $\tilde{G}$ 之间的全局 $L^1$-误差，表明以高概率有 $\|G - \tilde{G}\|_{L^1} = \mathcal{O}(\Gamma_\epsilon^{-1/2}\epsilon)\|G\|_{L^1}$。
• 所需训练样本对的数量被推导为 $\mathcal{O}(\epsilon^{-(n+2)/2}\log(1/\epsilon))$，其中 $\epsilon$ 控制目标精度，$\Gamma_\epsilon$ 衡量数据集质量。
• 该方法通过 $L^1$-范数下的理论分析进行验证，这一点至关重要，因为 $n > 1$ 维下格林函数通常不在 $L^2$ 中。

实验结果

研究问题

• RQ1 学习时变抛物型PDE的格林函数时，实现指定相对误差所需的最少输入-输出样本对数量是多少？
• RQ2 当格林函数在高维下非平方可积时，如何严格近似抛物型PDE的解算子？
• RQ3 格林函数的分层低秩结构能否被用于降低科学机器学习中的数据需求？
• RQ4 随机化SVD在构建非平方可积格林函数的高概率、高精度近似中起到什么作用？
• RQ5 为何基于 $L^2$-损失的标准深度学习方法在具有瞬态动力学的时变PDE中会失效，而基于 $L^1$ 的学习如何缓解此问题？

主要发现

• 该方法在高概率下实现了真实格林函数 $G$ 与学习得到的近似函数 $\tilde{G}$ 之间的相对 $L^1$-误差为 $\mathcal{O}(\Gamma_\epsilon^{-1/2}\epsilon)\|G\|_{L^1}$。
• 所需训练样本对的数量被限制在 $\mathcal{O}(\epsilon^{-(n+2)/2}\log(1/\epsilon))$，其中 $\epsilon > 0$ 为目标精度，$n$ 为空间维数。
• 失败概率被界为 $\mathcal{O}(\epsilon^{\log^{n+2}(1/\epsilon) - (n+2)/2})$，当 $\epsilon \to 0$ 时趋于零。
• 分析在 $L^1$-范数下进行，这一点至关重要，因为 $n > 1$ 维下抛物型PDE的格林函数通常不在 $L^2$ 中。
• 理论框架可推广至任意空间维数下的椭圆型PDE，扩展了此前在 $L^1$-范数下的结果。
• 该工作识别出基于 $L^1$ 的损失函数以及如有理神经网络等架构，作为克服物理信息神经网络在瞬态动力学中模式崩溃问题的有前景替代方案。