[论文解读] Parametric Complexity Bounds for Approximating PDEs with Neural Networks

Tanya Marwah, Zachary C. Lipton+1 more|arXiv (Cornell University)|Mar 3, 2021

Model Reduction and Neural Networks参考文献 35被引用 5

一句话总结

该论文证明了深度神经网络可以使用与输入维度 $d$ 的多项式关系、与 PDE 系数参数数量线性关系的参数数量，近似求解高维线性椭圆型 PDE 及其狄利克雷边界条件。作者提出了一种构造性证明技术，通过分层网络增长模拟希尔伯特空间中的梯度下降，表明解的复杂度仅取决于系数的复杂度，而不依赖于定义域的体积。

ABSTRACT

Recent experiments have shown that deep networks can approximate solutions to high-dimensional PDEs, seemingly escaping the curse of dimensionality. However, questions regarding the theoretical basis for such approximations, including the required network size, remain open. In this paper, we investigate the representational power of neural networks for approximating solutions to linear elliptic PDEs with Dirichlet boundary conditions. We prove that when a PDE's coefficients are representable by small neural networks, the parameters required to approximate its solution scale polynomially with the input dimension $d$ and proportionally to the parameter counts of the coefficient networks. To this we end, we develop a proof technique that simulates gradient descent (in an appropriate Hilbert space) by growing a neural network architecture whose iterates each participate as sub-networks in their (slightly larger) successors, and converge to the solution of the PDE. We bound the size of the solution, showing a polynomial dependence on $d$ and no dependence on the volume of the domain.

研究动机与目标

• 从理论上解释为何深度神经网络在近似高维 PDE 解时不会遭遇维度灾难。
• 确定近似线性椭圆型 PDE 在狄利克雷边界条件下解所需的最少参数数量。
• 建立解的参数复杂度与输入维度 $d$ 呈多项式关系，且与 PDE 系数的参数数量呈线性关系。
• 开发一种构造性证明技术，通过分层神经网络结构的增长模拟希尔伯特空间中的梯度下降。
• 证明解的参数复杂度与定义域体积无关，从而避免在高维情况下出现指数依赖。

提出的方法

• 构建一种神经网络架构，将希尔伯特空间中梯度下降的每一步迭代嵌入到更大的后续网络中的子网络中。
• 采用递归构造方法，使每一层网络近似微分算子 $L$ 对前一迭代结果的作用。
• 使用数学归纳法控制解的高阶导数的 $L^2$-范数，利用 PDE 系数的光滑性与强椭圆性。
• 利用谱等价性与次乘性性质，建立微分算子 $L$ 与小范数扰动 $\Sigma$ 的复合算子的算子范数上界。
• 证明解可由一个神经网络近似，其规模在 $d$ 上为多项式增长，在系数网络的参数数量上为线性增长。
• 利用 $\|L^n u\|_{L^2}$ 的增长形式为 $(n!)^2 C^n \max_{|\alpha| \leq n+2} \|\partial^\alpha u\|_{L^2}$ 的事实，从而控制导数增长。

实验结果

研究问题

• RQ1 使用神经网络近似线性椭圆型 PDE 在狄利克雷边界条件下解时，所需的最少参数数量是多少？
• RQ2 解的参数复杂度与 PDE 系数 $A$ 和 $c$ 的复杂度有何关系？
• RQ3 神经网络在近似高维 PDE 解时能否避免维度灾难？
• RQ4 定义域体积是否影响准确近似 PDE 解所需的网络规模？
• RQ5 能否通过分层神经网络增长实现构造性证明技术，以模拟希尔伯特空间中的梯度下降？

主要发现

• 近似线性椭圆型 PDE 解所需的参数数量为 $O(\text{poly}(d)N)$，其中 $N$ 为表示系数 $A$ 和 $c$ 所需的参数数量。
• 解的参数复杂度在输入维度 $d$ 上呈多项式增长，且与定义域 $\Omega$ 的体积无关。
• 该证明建立了 $\|L^n u\|_{L^2} \leq (n!)^2 C^n \max_{|\alpha| \leq n+2} \|\partial^\alpha u\|_{L^2}$，从而控制了高阶导数的增长。
• 涉及 $L$ 与小扰动 $\Sigma$ 的复合算子的算子范数被控制在 $\delta^i$ 以内，从而实现了对迭代更新的稳定近似。
• 分层网络结构确保了梯度下降模拟的每一步迭代都被嵌入到更大的架构中的子网络中，从而实现对真实解的收敛。
• 该结果为深度学习在求解高维 PDE 时的实证成功提供了理论依据，尤其在系数结构简单时更为显著。