[논문 리뷰] Error Estimates for the Variational Training of Neural Networks with Boundary Penalty.

Johannes Müller, Marius Zeinhofer|arXiv (Cornell University)|2021. 03. 01.

Model Reduction and Neural Networks참고 문헌 43인용 수 14

한 줄 요약

이 논문은 $H^1(\theta)$에서 경계 페널티를 사용한 변분 훈련을 통한 리츠 방법에 대한 오차 추정을 제공하며, 딜리클레 조건의 경우 최적의 오차 감쇠 속도가 $\min(s/2, r)$임을 보여준다. 여기서 $r$은 $H^1$ 근사 속도이고 $s$는 $L^2(\partial\Omega)$ 속도이며, 페널티 파라미터 $\lambda_n \sim n^s$로 조정함으로써 달성된다. 이 결과는 ReLU 신경망으로까지 확장되며, 비선형 PDE인 $p$-라플라스 방정식과 같은 경우 $\Gamma$-수렴을 통해 뒷받 Cir.

ABSTRACT

We establish estimates on the error made by the Ritz method for quadratic energies on the space $H^1(\Omega)$ in the approximation of the solution of variational problems with different boundary conditions. Special attention is paid to the case of Dirichlet boundary values which are treated with the boundary penalty method. We consider arbitrary and in general non linear classes $V\subseteq H^1(\Omega)$ of ansatz functions and estimate the error in dependence of the optimisation accuracy, the approximation capabilities of the ansatz class and - in the case of Dirichlet boundary values - the penalisation strength $\lambda$. For non-essential boundary conditions the error of the Ritz method decays with the same rate as the approximation rate of the ansatz classes. For the boundary penalty method we obtain that given an approximation rate of $r$ in $H^1(\Omega)$ and an approximation rate of $s$ in $L^2(\partial\Omega)$ of the ansatz classes, the optimal decay rate of the estimated error is $\min(s/2, r) \in [r/2, r]$ and achieved by choosing $\lambda_n\sim n^{s}$. We discuss how this rate can be improved, the relation to existing estimates for finite element functions as well as the implications for ansatz classes which are given through ReLU networks. Finally, we use the notion of $\Gamma$-convergence to show that the Ritz method converges for a wide class of energies including nonlinear stationary PDEs like the $p$-Laplace.

연구 동기 및 목표

• 일반적인 안사 클래스를 사용하여 $H^1(\Omega)$에서 다양한 경계 조건을 가진 변분 문제에 대해 리츠 방법의 엄밀한 오차 추정을 수립하는 것.
• 특히 딜리클레 경계 조건에서 경계 페널티 방법이 수렴 속도에 미치는 영향을 분석하는 것.
• 최상의 오차 감쇠 속도를 달성하기 위해 페널티 파라미터 $\lambda_n$의 최적 스케일링을 결정하는 것.
• 이론적 오차 경계가 ReLU 신경망과 같은 실용적 안사 클래스에 어떻게 연결되는지 파악하는 것.
• 일반적인 비선형 에너지, 특히 정적 $p$-라플라스 방정식에 대해 에너지 함수의 $\Gamma$-수렴을 통해 리츠 방법의 수렴을 보여주는 것.

제안 방법

• 정확한 해와 리츠 근사 사이의 오차를 $H^1(\Omega)$에서 추정하기 위해 변분 방법을 사용한다.
• 딜리클레 조건의 경우, 에너지 함수에 항 $\lambda \|u - g\|_{L^2(\partial\Omega)}^2$를 추가함으로써 경계 페널티 방법을 적용한다.
• 오차 경계는 $H^1(\Omega)$에서의 근사 속도 $r$과 $L^2(\partial\Omega)$에서의 근사 속도 $s$에 따라 유도되며, 최적의 감쇠 속도는 $\min(s/2, r)$이다.
• 페널티 파라미터 $\lambda_n$은 $\lambda_n \sim n^s$로 조정되어 최적의 수렴 속도를 달성한다.
• 이론은 ReLU 네트워크로 정의된 안사 클래스에 적용되며, 이들의 근사 성질이 직접 오차 감쇠에 영향을 준다.
• 논문은 일반적인 비선형 에너지에 대해 리츠 방법의 수렴을 확립하기 위해 $\Gamma$-수렴을 활용한다. 이는 정적 $p$-라플라스 방정식을 포함한다.

실험 결과

연구 질문

• RQ1 딜리클레 조건에 대해 경계 페널티를 사용할 때 리츠 방법의 최적 수렴 속도는 무엇인가?
• RQ2 페널티 파라미터 $\lambda_n$의 선택이 오차 감쇠 속도에 어떻게 영향을 주는가?
• RQ3 $H^1(\Omega)$와 $L^2(\partial\Omega)$ 근사 속도 간의 관계와 리츠 방법에서의 결과 오차 사이의 관계는 무엇인가?
• RQ4 이론적 오차 경계는 ReLU 신경망과 같은 안사 클래스에 적용될 수 있는가?
• RQ5 일반적인 비선형 에너지, 특히 $p$-라플라스 유형 PDE에 대해 리츠 방법은 수렴하는가?

주요 결과

• 경계 페널티를 사용한 리츠 방법의 최적 오차 감쇠 속도는 $\min(s/2, r)$이며, 여기서 $r$은 $H^1(\Omega)$ 근사 속도이고 $s$는 $L^2(\partial\Omega)$ 속도이다.
• 최적의 페널티 파라미터는 $\lambda_n \sim n^s$로 스케일링되며, 이는 최상의 가능한 수렴 속도를 달성한다.
• 필수적이지 않은 경계 조건의 경우, 오차는 안사 클래스의 근사 속도와 동일한 속도로 감쇠된다.
• 페널티 파라미터를 최적화함으로써 수렴 속도를 향상시킬 수 있으며, 표준 가정 하에 이 경계는 날카롭다.
• 결과는 ReLU 신경망에 적용 가능하며, 그들의 근사 성질이 직접 오차 추정에 포함된다.
• 에너지 함수의 $\Gamma$-수렴 덕분에 리츠 방법은 광범위한 비선형 에너지 클래스, 특히 $p$-라플라스 방정식에 대해 수렴한다.