[论文解读] Exponential ReLU Neural Network Approximation Rates for Point and Edge Singularities

Carlo Marcati, Joost A. A. Opschoor+2 more|arXiv (Cornell University)|Oct 23, 2020

Machine Learning in Materials Science被引用 4

一句话总结

该论文建立了在二维和三维多面体域中具有点奇点和边奇点的函数的ReLU神经网络逼近的指数收敛速率。证明了深层ReLU网络在$ H^1 $-范数下实现误差衰减$ \mathcal{O}(C\exp(-bM^{1/(2d+1)})) $，其中$ M $为网络参数数量，为深度学习在解析数据和奇异解的椭圆PDE求解中提供了理论基础。

ABSTRACT

We prove exponential expressivity with stable ReLU Neural Networks (ReLU NNs) in $H^1(Ω)$ for weighted analytic function classes in certain polytopal domains $Ω$, in space dimension $d=2,3$. Functions in these classes are locally analytic on open subdomains $D\subset Ω$, but may exhibit isolated point singularities in the interior of $Ω$ or corner and edge singularities at the boundary $\partial Ω$. The exponential expression rate bounds proved here imply uniform exponential expressivity by ReLU NNs of solution families for several elliptic boundary and eigenvalue problems with analytic data. The exponential approximation rates are shown to hold in space dimension $d = 2$ on Lipschitz polygons with straight sides, and in space dimension $d=3$ on Fichera-type polyhedral domains with plane faces. The constructive proofs indicate in particular that NN depth and size increase poly-logarithmically with respect to the target NN approximation accuracy $\varepsilon>0$ in $H^1(Ω)$. The results cover in particular solution sets of linear, second order elliptic PDEs with analytic data and certain nonlinear elliptic eigenvalue problems with analytic nonlinearities and singular, weighted analytic potentials as arise in electron structure models. In the latter case, the functions correspond to electron densities that exhibit isolated point singularities at the positions of the nuclei. Our findings provide in particular mathematical foundation of recently reported, successful uses of deep neural networks in variational electron structure algorithms.

研究动机与目标

• 在具有点奇点和边奇点的函数的Sobolev空间中，建立ReLU神经网络逼近的可证明指数收敛速率。
• 为深度神经网络在逼近具有解析数据和奇点的椭圆PDE解方面的成功提供数学基础。
• 分析网络深度和规模对$ H^1(\Omega) $中奇异函数逼近精度的依赖关系。
• 将指数表达能力结果扩展至具有角点和边奇点的多边形和多面体域上的加权解析函数类。
• 证明具有解析数据和奇点的线性和非线性椭圆PDE解族可被ReLU网络一致且指数地逼近。

提出的方法

• 构建一种ReLU神经网络实现，通过深度和宽度高效的架构逼近具有奇点的单变量分段多项式函数。
• 在几何网格上使用张量积$ hp $-有限元空间，在$ Q = (0,1)^d $，$ d=2,3 $上构造加权解析函数的高阶逼近。
• 采用构造性证明策略，通过连接、并行化以及恒等和乘法运算的模拟，将局部逼近嵌入全局ReLU网络。
• 应用Kondrat’ev型加权Sobolev空间，以在多面体域中建模具有角点和边奇点的解析正则性。
• 通过将网络逼近的$ H^1 $-范数误差以参数数量$ M $表示，建立指数收敛性，显示误差衰减为$ \mathcal{O}(\exp(-bM^{1/(2d+1)})) $。
• 将一般逼近结果应用于特定PDE，包括具有奇异势的非线性特征值问题和具有解析数据的二阶椭圆问题。

实验结果

研究问题

• RQ1 ReLU神经网络能否在二维和三维域中对具有孤立点奇点和边奇点的函数实现指数逼近速率？
• RQ2 对于$ H^1(\Omega) $中的奇异函数，网络深度和规模如何依赖于逼近精度$ \varepsilon $？
• RQ3 深层ReLU网络能否一致且指数地逼近具有解析数据和奇点的椭圆PDE解族？
• RQ4 ReLU网络的逼近速率与经典有限元方法在奇异解情况下的表现相比如何？
• RQ5 深度学习在具有奇异电子密度的变分电子结构计算中表现成功的理论基础是什么？

主要发现

• 论文证明了在$ d=2,3 $时，逼近误差满足$ \|u - u_N\|_{H^1(\Omega)} \leq C\exp(-bM^{1/(2d+1)}) $，其中$ M $为ReLU网络中的参数数量。
• 逼近误差随网络参数数量呈指数衰减，指数为$ 1/(2d+1) $，表明深度和规模相对于精度呈多对数增长。
• 结果适用于Lipschitz多边形（二维）和Fichera型多面体域（三维）上的加权解析函数类，这些域包含具有角点和边奇点的椭圆PDE解。
• 该方法通过利用张量积$ hp $-有限元逼近和神经网络操作（如连接和乘法模拟）构建实现指数收敛的ReLU网络。
• 该框架支持对具有解析非线性项和奇异、加权解析势的非线性特征值问题的解进行逼近，例如原子核处具有点奇点的电子密度。
• 理论结果为深度神经网络在变分电子结构算法和具有奇异解的PDE求解器中经验成功的数学基础提供了支持。