[论文解读] Deep neural networks overcome the curse of dimensionality in the numerical approximation of semilinear partial differential equations

Petru A. Cioica-Licht, Martin Hutzenthaler+1 more|arXiv (Cornell University)|May 28, 2022

Model Reduction and Neural Networks被引用 5

一句话总结

本文证明了深度神经网络（DNNs）可以在不遭受维度灾难的情况下近似求解高维半线性偏微分方程（PDEs）。在非线性项、系数和初始条件满足Lipschitz连续性假设的前提下，DNN中的参数数量在维度 $d$ 和逆精度 $\varepsilon$ 上至多呈多项式增长，从而实现了高维PDE的高效数值求解。

ABSTRACT

We prove that deep neural networks are capable of approximating solutions of semilinear Kolmogorov PDE in the case of gradient-independent, Lipschitz-continuous nonlinearities, while the required number of parameters in the networks grow at most polynomially in both dimension $d \in \mathbb{N}$ and prescribed reciprocal accuracy $\varepsilon$. Previously, this has only been proven in the case of semilinear heat equations.

研究动机与目标

• 建立理论保证，证明深度神经网络能够高效近似求解高维半线性PDE。
• 解决经典数值方法（如有限差分或有限元法）在求解PDE时面临的维度灾难挑战。
• 将先前针对半线性热方程的结果扩展到一般半线性Kolmogorov PDE，其非线性项与梯度无关且满足Lipschitz连续性。
• 证明DNN中的参数数量在维度 $d$ 和逆精度 $\varepsilon$ 上至多呈多项式增长。
• 为具有广义Lipschitz连续系数和初始条件的PDE提供基于DNN近似的严格数学框架。

提出的方法

• 作者采用基于权重矩阵和偏置向量定义的深度神经网络（DNN）数学框架，并使用ReLU激活函数。
• 他们构建了时间递归函数、Euler-Maruyama近似以及PDE的逐线法（MLP）的DNN表示。
• 发展了一种扰动分析方法，以界定真实PDE解与MLP近似之间的误差。
• 该证明依赖于李雅普诺夫型函数估计以及在系数和初始条件扰动下PDE解的稳定性边界。
• DNN被构造为以受控误差和Lipschitz连续性近似初始条件、漂移项和扩散系数。
• 最终证明DNN近似在单位立方体 $[0,1]^d$ 上的 $L^2$-范数收敛，且参数数量呈多项式增长。

实验结果

研究问题

• RQ1 深度神经网络能否在维度和精度上呈多项式参数增长的前提下，近似求解高维半线性PDE？
• RQ2 该方法是否能在半线性Kolmogorov PDE的数值求解中克服维度灾难？
• RQ3 理论保证能否从半线性热方程推广到具有Lipschitz连续非线性项和系数的一般半线性PDE？
• RQ4 参数数量对PDE维度 $d$ 和期望精度 $\varepsilon$ 的依赖关系如何？
• RQ5 如何构建DNN以确保在PDE系数和初始数据扰动下同时保持精度和稳定性？

主要发现

• 近似DNN中的参数数量在PDE维度 $d$ 和逆精度 $\varepsilon$ 上至多呈多项式增长，具体由 $\eta d^{\eta} \varepsilon^{-\eta}$ 有界，其中 $\eta > 0$。
• 在 $[0,1]^d$ 上，真实解与DNN近似之间的 $L^2$-误差对任意 $\varepsilon \in (0,1]$ 均被控制在 $\varepsilon$ 以内。
• 该方法适用于具有Lipschitz连续非线性项、漂移项、扩散项和初始条件的一般半线性Kolmogorov PDE。
• DNN被构造为在PDE系数和初始数据扰动下保持Lipschitz连续性和近似精度。
• 理论框架确保DNN近似即使在高维情况下也保持稳定且收敛。
• 该结果将先前局限于半线性热方程的工作推广到更广泛的具有梯度无关非线性项的半线性PDE类。