[논문 리뷰] Error Estimates for the Deep Ritz Method with Boundary Penalty

Johannes Müller, Marius Zeinhofer|arXiv (Cornell University)|2021. 03. 01.

Advanced Numerical Methods in Computational Mathematics인용 수 7

한 줄 요약

이 논문은 디리클레 경계 조건을 가진 선형 타원형 PDE에 대해 경계 페널티를 사용하는 딥 릿지 방법(DRM)에 대한 최초의 일반적인 오차 추정을 제공하며, 최적화 정확도, 신경망 안자스 클래스의 근사 능력, 페널티 강도를 고려한 수렴 속도를 확립한다. 또한, 매끄러운 함수에 대해 ReLU 네트워크가 보이는 유리한 근사 성질이 고차원에서 딥 릿지 방법으로도 유지됨을 보여준다.

ABSTRACT

We estimate the error of the Deep Ritz Method for linear elliptic equations. For Dirichlet boundary conditions, we estimate the error when the boundary values are imposed through the boundary penalty method. Our results apply to arbitrary sets of ansatz functions and estimate the error in dependence of the optimization accuracy, the approximation capabilities of the ansatz class and -- in the case of Dirichlet boundary values -- the penalization strength $λ$. To the best of our knowledge, our results are presently the only ones in the literature that treat the case of Dirichlet boundary conditions in full generality, i.e., without a lower order term that leads to coercivity on all of $H^1(Ω)$. Further, we discuss the implications of our results for ansatz classes which are given through ReLU networks and the relation to existing estimates for finite element functions. For high dimensional problems our results show that the favourable approximation capabilities of neural networks for smooth functions are inherited by the Deep Ritz Method.

연구 동기 및 목표

• 디리클레 경계 조건을 가진 선형 타원형 PDE를 풀 때 경계 페널티 방법을 사용하는 딥 릿지 방법에 대해 엄밀한 오차 추정을 제공하는 것.
• 전체 H¹(Ω) 공간에서의 하위차수 코ercivity 조건이 필요하지 않은 경계 페널티 접근법을 분석함으로써 문헌의 격차를 메우는 것.
• 페널티 강도 λ가 수렴에 미치는 영향을 특히 고차원 설정에서 정량화하는 것.
• 기존 이론 결과를 비코ercive 연산자와 일반적인 안자스 클래스(ReLU 신경망 포함)로 확장하는 것.
• 신경망의 근사 속도와 딥 릿지 프레임워크에서의 최종 오차 한계 사이의 연결 고리를 설정하는 것.

제안 방법

• 이차형형식, 소스 항 및 매개변수 λ를 가진 경계 페널티 항을 포함하는 페널티 에너지 기능의 최소화로 딥 릿지 방법을 공식화한다.
• 오차를 세 가지 구성요소로 분석: 최적화 오차, 안자스 클래스의 근사 오차, 정확한 경계 강제가 이루어지지 않아 발생하는 페널티 유도 오차.
• 임의의 안자스 클래스에 적용 가능한 일반적 프레임워크를 사용하며, 알려진 근사 경계를 통해 ReLU 신경망에 특별히 적용한다.
• 선형 함수 클래스에 대한 Céa의 보조정리의 수정된 버전을 적용하여 선형적 구조에 의존하지 않는다.
• H¹(Ω) 및 L²(∂Ω) 노름에서 오차 경계를 유도하며, 이를 정확한 해의 매끄러움과 네트워크의 근사 능력과 연결한다.
• 네트워크의 깊이와 너비에 따라 수렴 속도가 달라지며, 해의 매끄러움이 높을수록 더 향상된 수렴 속도를 보임을 보여준다.

실험 결과

연구 질문

• RQ1 페널티 강도 λ는 디리클레 문제에 대한 딥 릿지 방법의 수렴 속도에 어떻게 영향을 미치는가?
• RQ2 전체 H¹(Ω) 공간에서 코ercivity를 가정하지 않고도 경계 페널티를 사용하는 딥 릿지 방법에 대해 오차 추정을 도출할 수 있는가?
• RQ3 ReLU 신경망의 근사 능력은 딥 릿지 방법의 수렴 속도에 얼마나 영향을 미치는가?
• RQ4 H¹(Ω) 및 L²(∂Ω) 노름에서의 수렴 속도는 정확한 해의 매끄러움과 어떻게 관련이 있는가?
• RQ5 이론적 프레임워크는 유한요소를 초월한 비선형 안자스 클래스, 예를 들어 딥 신경망과 같은 경우로 확장될 수 있는가?

주요 결과

• 이 논문은 하위차수 코ercivity 조건이 필요하지 않은 조건에서도 디리클레 문제에 대해 경계 페널티를 사용하는 딥 릿지 방법에 대한 최초의 일반적인 오차 추정을 확립한다.
• H¹(Ω) 노름에서의 수렴은 최적화 오차, 안자스 클래스의 근사 오차, 페널티 유도 오차의 합으로 제한되며, 후자는 λ⁻¹ 비율로 감소한다.
• n개의 매개변수를 가진 ReLU 네트워크의 경우, H¹(Ω) 오차는 n⁻(r+1)/d 비율로 감소하며, 여기서 r은 해의 매끄러움을 나타낸다. 이는 해의 정(regularity)이 높을수록 수렴 속도가 향상됨을 보여준다.
• L²(∂Ω) 오차는 n⁻(2r+3−4ε)/(4d) 비율로 감소하여 경계 오차 역시 해의 매끄러움에 의해 유리하게 영향을 받음을 나타낸다.
• 최적의 수렴 속도는 페널티 매개변수 λ가 h⁻¹ 비례로 스케일링될 때 달성되며, 이는 유한요소 방법과 유사하지만 비선형 안자스 클래스에 대해 유도된 결과이다.
• 결과들은 고차원에서 신경망이 보이는 유리한 근사 능력이 딥 릿지 방법 동안 유지됨을 보여주며, 이는 고차원 PDE에 대한 이 방법의 사용을 뒷받침한다.