[論文レビュー] Error Estimates for the Variational Training of Neural Networks with Boundary Penalty.

Johannes Müller, Marius Zeinhofer|arXiv (Cornell University)|Mar 1, 2021

Model Reduction and Neural Networks参考文献 43被引用数 14

ひとこと要約

本稿は、境界ペナルティを用いた変分的トレーニングにおけるリッツ法の誤差推定を提供し、ディリクレ境界条件の場合、最適な誤差減少率が $\min(s/2, r)$ であることを示している。ここで $r$ は $H^1(\Omega)$ における近似率、$s$ は $L^2(\partial\Omega)$ における近似率であり、ペナルティパラメータ $\lambda_n \sim n^s$ の調整によって達成される。結果はReLUニューラルネットワークへも拡張可能であり、非線形PDE（例：$p$-ラプラシアン方程式）に対しても$\Gamma$-収束によって裏付けられる。

ABSTRACT

We establish estimates on the error made by the Ritz method for quadratic energies on the space $H^1(\Omega)$ in the approximation of the solution of variational problems with different boundary conditions. Special attention is paid to the case of Dirichlet boundary values which are treated with the boundary penalty method. We consider arbitrary and in general non linear classes $V\subseteq H^1(\Omega)$ of ansatz functions and estimate the error in dependence of the optimisation accuracy, the approximation capabilities of the ansatz class and - in the case of Dirichlet boundary values - the penalisation strength $\lambda$. For non-essential boundary conditions the error of the Ritz method decays with the same rate as the approximation rate of the ansatz classes. For the boundary penalty method we obtain that given an approximation rate of $r$ in $H^1(\Omega)$ and an approximation rate of $s$ in $L^2(\partial\Omega)$ of the ansatz classes, the optimal decay rate of the estimated error is $\min(s/2, r) \in [r/2, r]$ and achieved by choosing $\lambda_n\sim n^{s}$. We discuss how this rate can be improved, the relation to existing estimates for finite element functions as well as the implications for ansatz classes which are given through ReLU networks. Finally, we use the notion of $\Gamma$-convergence to show that the Ritz method converges for a wide class of energies including nonlinear stationary PDEs like the $p$-Laplace.

研究の動機と目的

• 一般のアンザッツクラスを用いた$H^1(\Omega)$における変分問題の境界条件が異なる場合のリッツ法の厳密な誤差推定を確立すること。
• 特にディリクレ境界条件における境界ペナルティ法の収束率への影響を分析すること。
• 最良の誤差減少率を達成するためのペナルティパラメータ$\lambda_n$の最適スケーリングを特定すること。
• 理論的誤差境界がReLUニューラルネットワークなどの実用的アンザッツクラスにどのように関連するかを明らかにすること。
• $\Gamma$-収束を用いて、$p$-ラプラシアン型PDEを含む一般の非線形エネルギー関数に対してリッツ法の収束を示すこと。

提案手法

• 解析は、$H^1(\Omega)$における正確な解とリッツ近似との間の誤差を推定するための変分的手法を用いる。
• ディリクレ条件の場合、境界ペナルティ法としてエネルギー関数に項 $\lambda \|u - g\|_{L^2(\partial\Omega)}^2$ を追加する。
• 誤差境界は、$H^1(\Omega)$における近似率$r$と$L^2(\partial\Omega)$における近似率$s$の観点から導出され、最適な減少率は $\min(s/2, r)$ である。
• ペナルティパラメータ $\lambda_n$ は $\lambda_n \sim n^s$ とスケーリングすることで最適収束率が達成される。
• 理論はReLUネットワークによって定義されるアンザッツクラスに適用され、その近似特性が誤差減少に直接影響することが示される。
• 本稿では、一般の非線形エネルギー関数（特に定常$p$-ラプラシアン方程式を含む）に対して、エネルギー関数の$\Gamma$-収束を用いてリッツ法の収束を確立する。

実験結果

リサーチクエスチョン

• RQ1 境界ペナルティを用いたディリクレ境界条件におけるリッツ法の最適収束率は何か？
• RQ2 ペナルティパラメータ $\lambda_n$ の選択が誤差減少率に与える影響は何か？
• RQ3 $H^1(\Omega)$ と $L^2(\partial\Omega)$ における近似率の関係と、リッツ法における最終的な誤差との関係は何か？
• RQ4 理論的誤差境界はReLUニューラルネットワークなどのアンザッツクラスに適用可能か？
• RQ5 一般の非線形エネルギー関数（$p$-ラプラシアン型PDEを含む）に対し、リッツ法は収束するか？

主な発見

• 境界ペナルティを用いたリッツ法の最適誤差減少率は $\min(s/2, r)$ であり、ここで $r$ は $H^1(\Omega)$ における近似率、$s$ は $L^2(\partial\Omega)$ における近似率である。
• 最適なペナルティパラメータは $\lambda_n \sim n^s$ とスケーリングされ、これにより最良の収束率が達成される。
• 本質的でない境界条件の場合、誤差はアンザッツクラスの近似率と同一の速度で減少する。
• ペナルティパラメータを最適化することで収束率を向上させられ、標準的な仮定のもとで境界はタイトである。
• ReLUニューラルネットワークに対しても結果は適用可能であり、その近似特性が誤差推定に直接反映される。
• エネルギー関数の$\Gamma$-収束のおかげで、$p$-ラプラシアン方程式を含む広範な非線形エネルギー関数に対してリッツ法は収束する。