[论文解读] Error Estimates for the Variational Training of Neural Networks with Boundary Penalty.

Johannes Müller, Marius Zeinhofer|arXiv (Cornell University)|Mar 1, 2021

Model Reduction and Neural Networks参考文献 43被引用 14

一句话总结

本文针对在 $H^1(\theta)$ 中使用变分训练与边界罚项的 Ritz 方法提供了误差估计，表明对于 Dirichlet 条件，最优误差衰减速率为 $\min(s/2, r)$，其中 $r$ 为 $H^1$ 近似率，$s$ 为 $L^2(\partial\Omega)$ 近似率，通过调节罚参数 $\lambda_n \sim n^s$ 实现。结果可推广至 ReLU 神经网络，并通过 $\Gamma$-收敛性支持非线性 PDE（如 $p$-Laplace 方程）的情形。

ABSTRACT

We establish estimates on the error made by the Ritz method for quadratic energies on the space $H^1(\Omega)$ in the approximation of the solution of variational problems with different boundary conditions. Special attention is paid to the case of Dirichlet boundary values which are treated with the boundary penalty method. We consider arbitrary and in general non linear classes $V\subseteq H^1(\Omega)$ of ansatz functions and estimate the error in dependence of the optimisation accuracy, the approximation capabilities of the ansatz class and - in the case of Dirichlet boundary values - the penalisation strength $\lambda$. For non-essential boundary conditions the error of the Ritz method decays with the same rate as the approximation rate of the ansatz classes. For the boundary penalty method we obtain that given an approximation rate of $r$ in $H^1(\Omega)$ and an approximation rate of $s$ in $L^2(\partial\Omega)$ of the ansatz classes, the optimal decay rate of the estimated error is $\min(s/2, r) \in [r/2, r]$ and achieved by choosing $\lambda_n\sim n^{s}$. We discuss how this rate can be improved, the relation to existing estimates for finite element functions as well as the implications for ansatz classes which are given through ReLU networks. Finally, we use the notion of $\Gamma$-convergence to show that the Ritz method converges for a wide class of energies including nonlinear stationary PDEs like the $p$-Laplace.

研究动机与目标

• 为在 $H^1(\Omega)$ 中使用一般试探函数类求解各类边界条件的变分问题时的 Ritz 方法建立严格的误差估计。
• 分析边界罚方法对收敛速率的影响，特别是针对 Dirichlet 边界条件的情形。
• 确定罚参数 $\lambda_n$ 的最优标定方式，以实现最佳可能的误差衰减速率。
• 将理论误差界与实际的试探函数类（如 ReLU 神经网络）相联系。
• 通过 $\Gamma$-收敛性证明 Ritz 方法对广义非线性能量（包括 $p$-Laplace 型 PDE）的收敛性。

提出的方法

• 采用变分方法估计精确解与 Ritz 近似解在 $H^1(\Omega)$ 中的误差。
• 对于 Dirichlet 条件，通过在能量泛函中加入项 $\lambda \|u - g\|_{L^2(\partial\Omega)}^2$ 来应用边界罚方法。
• 误差界以 $H^1(\Omega)$ 中的近似率 $r$ 和 $L^2(\partial\Omega)$ 中的近似率 $s$ 表示，最优衰减速率为 $\min(s/2, r)$。
• 通过调节罚参数 $\lambda_n \sim n^s$ 实现最优收敛速率。
• 将理论应用于由 ReLU 网络定义的试探函数类，表明其近似性质直接影响误差衰减。
• 论文采用 $\Gamma$-收敛性方法，证明 Ritz 方法对广义非线性能量（包括定常 $p$-Laplace 方程）的收敛性。

实验结果

研究问题

• RQ1 当对 Dirichlet 条件使用边界罚时，Ritz 方法的最优收敛速率是什么？
• RQ2 罚参数 $\lambda_n$ 的选择如何影响误差衰减速率？
• RQ3 在 $H^1(\Omega)$ 与 $L^2(\partial\Omega)$ 中的近似率与 Ritz 方法中最终误差之间的关系是什么？
• RQ4 理论误差界是否可应用于 ReLU 神经网络等试探函数类？
• RQ5 Ritz 方法是否对广义非线性能量（包括 $p$-Laplace 型 PDE）收敛？

主要发现

• 使用边界罚的 Ritz 方法的最优误差衰减速率为 $\min(s/2, r)$，其中 $r$ 为 $H^1(\Omega)$ 近似率，$s$ 为 $L^2(\partial\Omega)$ 近似率。
• 最优罚参数的标度为 $\lambda_n \sim n^s$，可实现最佳可能的收敛速率。
• 对于非本质边界条件，误差衰减速率与试探函数类的近似率相同。
• 通过优化罚参数可提高收敛速率，且在标准假设下该界是紧致的。
• 结果适用于 ReLU 神经网络，因为其近似性质直接影响误差估计。
• 由于能量泛函的 $\Gamma$-收敛性，Ritz 方法对包含 $p$-Laplace 方程在内的广泛非线性能量类收敛。