[论文解读] Error Estimates for the Deep Ritz Method with Boundary Penalty

Johannes Müller, Marius Zeinhofer|arXiv (Cornell University)|Mar 1, 2021

Advanced Numerical Methods in Computational Mathematics被引用 7

一句话总结

本文首次为带有边界罚项的深度Ritz方法在具有Dirichlet边界条件的线性椭圆PDE上提供了通用误差估计，建立了优化精度、神经网络试函数类的逼近能力以及罚项强度之间的收敛速率关系。结果表明，ReLU网络在光滑函数上的优良逼近特性可被深度Ritz方法继承，尤其在高维情形下。

ABSTRACT

We estimate the error of the Deep Ritz Method for linear elliptic equations. For Dirichlet boundary conditions, we estimate the error when the boundary values are imposed through the boundary penalty method. Our results apply to arbitrary sets of ansatz functions and estimate the error in dependence of the optimization accuracy, the approximation capabilities of the ansatz class and -- in the case of Dirichlet boundary values -- the penalization strength $λ$. To the best of our knowledge, our results are presently the only ones in the literature that treat the case of Dirichlet boundary conditions in full generality, i.e., without a lower order term that leads to coercivity on all of $H^1(Ω)$. Further, we discuss the implications of our results for ansatz classes which are given through ReLU networks and the relation to existing estimates for finite element functions. For high dimensional problems our results show that the favourable approximation capabilities of neural networks for smooth functions are inherited by the Deep Ritz Method.

研究动机与目标

• 为使用边界罚方法求解具有Dirichlet边界条件的线性椭圆PDE时的深度Ritz方法提供严格的误差估计。
• 通过在不假设全H¹(Ω)空间上存在次优阶强制性项的条件下分析边界罚方法，填补文献中的空白。
• 量化罚项强度λ对收敛速率的影响，尤其在高维情形下。
• 将现有理论结果扩展至非强制算子和一般试函数类（包括ReLU神经网络）。
• 建立神经网络逼近速率与深度Ritz框架中所得误差界之间的联系。

提出的方法

• 将深度Ritz方法表述为一个带罚项能量泛函的最小化问题，其中包含双线性型、源项以及含参数λ的边界罚项。
• 从三个分量分析误差：优化误差、试函数类的逼近误差，以及因边界强制不精确而产生的罚项诱导误差。
• 采用适用于任意试函数类的一般框架，并通过已知的逼近界将结果具体应用于ReLU神经网络。
• 应用一种适用于非线性函数类的Céa引理的改进版本，避免依赖线性结构。
• 推导出H¹(Ω)和L²(∂Ω)范数下的误差界，将其与精确解的光滑性及网络的逼近能力联系起来。
• 建立依赖于网络深度与宽度的收敛速率，表明在解的光滑性更高时收敛速率更优。

实验结果

研究问题

• RQ1 罚项强度λ如何影响具有Dirichlet边界条件的深度Ritz方法的收敛速率？
• RQ2 能否在不假设全H¹(Ω)空间上存在强制性项的条件下，为带有边界罚项的深度Ritz方法推导出误差估计？
• RQ3 ReLU神经网络的逼近能力在多大程度上传递至深度Ritz方法的收敛速率？
• RQ4 H¹(Ω)与L²(∂Ω)范数下的收敛速率如何与精确解的光滑性相关？
• RQ5 该理论框架能否扩展至有限元以外的非线性试函数类（如深度神经网络）？

主要发现

• 本文首次为具有边界罚项的Dirichlet问题的深度Ritz方法建立了通用误差估计，且无需假设存在次优阶强制性项。
• H¹(Ω)范数下的收敛受优化误差、试函数类的逼近误差与罚项诱导误差之和的限制，其中后者以λ⁻¹的速率衰减。
• 对于含n个参数的ReLU网络，H¹(Ω)误差以n⁻(r+1)/d的速率衰减，其中r为解的光滑性，表明解的正则性越高，收敛速率越快。
• L²(∂Ω)误差以n⁻(2r+3−4ε)/(4d)的速率衰减，表明边界误差同样受益于解的光滑性。
• 当罚参数λ按h⁻¹的尺度缩放时可达到最优收敛速率，这与有限元方法中的情形类似，但本结果适用于非线性试函数类。
• 结果表明，神经网络在高维情形下的优良逼近能力在深度Ritz方法中得以保留，支持其在高维PDE中的应用。