[论文解读] Exponential Convergence of Deep Operator Networks for Elliptic Partial Differential Equations

Carlo Marcati, Christoph Schwab|arXiv (Cornell University)|Dec 15, 2021

Advanced Mathematical Modeling in Engineering参考文献 27被引用 7

一句话总结

该论文构建了深度算子网络（ONets），在周期性、解析性设定下，实现了对椭圆型二阶PDE的系数到解映射的指数收敛率。通过利用谱配置方法和具有分支-主干结构的神经网络架构，作者证明了ONets在精度ε下所需的网络规模为O(|log(ε)|^κ)，其中κ依赖于空间维数d，表明在H¹范数下实现了指数收敛。

ABSTRACT

We construct and analyze approximation rates of deep operator networks (ONets) between infinite-dimensional spaces that emulate with an exponential rate of convergence the coefficient-to-solution map of elliptic second-order partial differential equations. In particular, we consider problems set in $d$-dimensional periodic domains, $d=1, 2, \dots$, and with analytic right-hand sides and coefficients. Our analysis covers linear, elliptic second order divergence-form PDEs as, e.g., diffusion-reaction problems, parametric diffusion equations, and elliptic systems such as linear isotropic elastostatics in heterogeneous materials. We leverage the exponential convergence of spectral collocation methods for boundary value problems whose solutions are analytic. In the present periodic and analytic setting, this follows from classical elliptic regularity. Within the ONet branch and trunk construction of [Chen and Chen, 1993] and of [Lu et al., 2021], we show the existence of deep ONets which emulate the coefficient-to-solution map to a desired accuracy in the $H^1$ norm, uniformly over the coefficient set. We prove that the neural networks in the ONet have size $\mathcal{O}(\left|\log(\varepsilon) ight|^κ)$, where $\varepsilon>0$ is the approximation accuracy, for some $κ>0$ depending on the physical space dimension.

研究动机与目标

• 开发能够以指数收敛率逼近线性、二阶椭圆型PDE的系数到解映射的深度算子网络（ONets）。
• 分析ONets在无限维函数空间中的逼近能力，特别是在具有解析系数和右端项的H¹范数下。
• 建立实现给定精度ε所需的网络规模和采样点数的边界，表明其对ε具有多对数依赖性。
• 通过考虑无限维系数空间和解析正则性，扩展现有关于DNN对参数化PDE逼近结果的研究。
• 证明所提出的ONet架构通过利用谱方法和周期域中的解析性，能够实现指数收敛。

提出的方法

• 采用分支-主干架构的ONets，遵循Chen和Chen [4]以及Lu等人 [18] 的方法，以表示系数到解的映射。
• 对周期性、解析性椭圆型PDE采用谱配置方法，依赖经典椭圆正则性以确保谱逼近的指数收敛。
• 在单位立方体Q = (0,1)^d上构造张量积勒让德多项式(L_i)的基，以表示解空间及其子空间中的函数。
• 施加周期性边界条件和零均值条件，定义解空间X_{n_b}，以确保H¹相容性并减少自由度。
• 使用L²正交化的基函数χ_{i_1,…,i_d}，以L²范数表示系数的ℓ²范数，从而实现误差控制。
• 通过ν^1d_j与L_j之间的关系推导出ℓ²系数范数的边界，表明函数的L²范数控制系数大小，且常数依赖于d的指数形式。

实验结果

研究问题

• RQ1 深度算子网络能否在逼近具有解析系数的椭圆型PDE解映射时实现指数收敛率？
• RQ2 对于此类PDE，在H¹范数下实现ε-精度所需的最小网络规模是多少？
• RQ3 网络规模对所需精度ε的依赖关系如何变化，是否避免了维度灾难？
• RQ4 所提出的ONet架构能否在保持指数收敛的同时处理无限维系数空间？
• RQ5 解析性与周期性在实现谱收敛及后续神经网络逼近中起到何种作用？

主要发现

• 深度算子网络在具有解析性、周期性系数的椭圆型PDE的系数到解映射中，实现了H¹范数下的指数收敛。
• 实现精度ε > 0所需的网络规模为O(|log(ε)|^κ)，其中κ > 0依赖于空间维数d，表明为多对数增长。
• 谱基下系数向量ℓ²范数的边界由函数的L²范数控制，常数C_{L²}依赖于d的指数形式。
• 该构造确保了对系数集合的统一逼近，解空间X_{n_b}被定义为多项式空间Q_p(Q)中周期性、均值为零的函数子空间。
• 解空间X_{n_b}的维数为p^d − 1，对应于施加周期性和零均值条件后的n_b = p^d − 1个自由度。
• 分析证实，所提出的ONet架构即使在参数化PDE具有无限维参数空间的情况下，也能以指数精度模拟解算子。