[논문 리뷰] Exponential ReLU Neural Network Approximation Rates for Point and Edge Singularities

Carlo Marcati, Joost A. A. Opschoor외 2명|arXiv (Cornell University)|2020. 10. 23.

Machine Learning in Materials Science인용 수 4

한 줄 요약

이 논문은 2차원 및 3차원 다면체 영역에서 점 및 모서리 특이성을 가진 함수에 대한 ReLU 신경망 근사에서 지수 수렴 속도를 확립한다. 깊이 있는 ReLU 네트워크가 $ H^1 $-노름에서 오차 감쇠 속도가 $ C\exp(-bM^{1/(2d+1)}) $ 순서임을 증명하며, 여기서 $ M $ 은 네트워크 파rameter의 수이다. 이는 분석적 자료와 특이 해를 가진 타원형 PDE를 해결하는 딥 러닝의 이론적 기초를 제공한다.

ABSTRACT

We prove exponential expressivity with stable ReLU Neural Networks (ReLU NNs) in $H^1(Ω)$ for weighted analytic function classes in certain polytopal domains $Ω$, in space dimension $d=2,3$. Functions in these classes are locally analytic on open subdomains $D\subset Ω$, but may exhibit isolated point singularities in the interior of $Ω$ or corner and edge singularities at the boundary $\partial Ω$. The exponential expression rate bounds proved here imply uniform exponential expressivity by ReLU NNs of solution families for several elliptic boundary and eigenvalue problems with analytic data. The exponential approximation rates are shown to hold in space dimension $d = 2$ on Lipschitz polygons with straight sides, and in space dimension $d=3$ on Fichera-type polyhedral domains with plane faces. The constructive proofs indicate in particular that NN depth and size increase poly-logarithmically with respect to the target NN approximation accuracy $\varepsilon>0$ in $H^1(Ω)$. The results cover in particular solution sets of linear, second order elliptic PDEs with analytic data and certain nonlinear elliptic eigenvalue problems with analytic nonlinearities and singular, weighted analytic potentials as arise in electron structure models. In the latter case, the functions correspond to electron densities that exhibit isolated point singularities at the positions of the nuclei. Our findings provide in particular mathematical foundation of recently reported, successful uses of deep neural networks in variational electron structure algorithms.

연구 동기 및 목표

• 점 및 모서리 특이성을 가진 함수에 대해 소볼레프 공간에서 ReLU 신경망의 증명 가능 지수 근사 속도를 확립하기 위해.
• 분석적 자료와 특이성을 가진 타원형 PDE의 해를 근사하는 데 있어 딥 뉴럴 네트워크의 성공에 대한 수학적 기초를 제공하기 위해.
• 특이 함수에 대해 $ H^1(\Omega) $ 에서 네트워크 깊이 및 크기가 근사 정확도에 미치는 영향을 분석하기 위해.
• 모서리 및 모서리 특이성이 있는 다각형 및 다면체 영역에서 가중치가 부여된 해석 함수 클래스로 지수적 표현력 결과를 확장하기 위해.
• 분석적 자료와 특이성을 가진 선형 및 비선형 타원형 PDE의 해 가중치를 균일하고 지수적으로 ReLU 네트워크로 근사할 수 있음을 보여주기 위해.

제안 방법

• 특이성을 가진 단변수 조각다항식 함수를 깊이 및 폭 효율적인 아키텍처로 근사하는 ReLU 신경망 실현을 구성한다.
• 기하 메esh를 기반으로 한 텐서 곱 $ hp $-유한요소 공간을 사용하여 $ Q = (0,1)^d $, $ d=2,3 $ 에서 가중치가 부여된 해석 함수의 고차 근사를 구성한다.
• 지역 근사를 글로벌 ReLU 네트워크에 통합하기 위해 연결, 병렬화, 항등 및 곱셈 연산 모방을 활용하는 구성적 증명 전략을 적용한다.
• 다면체 영역에서 모서리 및 모서리 특이성을 가진 해석적 정규성 모델링을 위해 콘드라트예프 유형의 가중치가 부여된 소볼레프 공간을 사용한다.
• 네트워크 근사의 $ H^1 $-노름 오차를 파arameter 수 $ M $ 에 따라 유계함으로써 지수 수렴을 확립하며, 감쇠 속도 $ \mathcal{O}(\exp(-bM^{1/(2d+1)})) $ 를 보여준다.
• 일반 근사 결과를 특정 PDE에 적용하여 비선형 고유값 문제와 분석적 비선형성, 특이한 가중치가 부여된 잠재력(예: 원자핵에서 점 특이성을 가진 전자 밀도)을 포함한 2차 타원형 문제를 다룬다.

실험 결과

연구 질문

• RQ1 ReLU 신경망은 2차원 및 3차원 영역에서 고립된 점 특이성 및 모서리 특이성을 가진 함수에 대해 지수 근사 속도를 달성할 수 있는가?
• RQ2 $ H^1(\Omega) $ 에서 특이 함수에 대해 근사 정확도 $ \varepsilon $ 에 대한 네트워크 깊이 및 크기의 의존성은 무엇인가?
• RQ3 깊이 있는 ReLU 네트워크는 분석적 자료와 특이성을 가진 타원형 PDE의 해 가중치를 균일하고 지수적으로 근사할 수 있는가?
• RQ4 특이 해에 대해 ReLU 네트워크의 근사 속도는 전통적인 유한요소 방법과 비교하여 어떻게 되는가?
• RQ5 특이 전자 밀도를 포함한 변분 전자 구조 계산에서 딥 러닝의 관측된 성공에 대한 이론적 근거는 무엇인가?

주요 결과

• 논문은 $ d=2,3 $ 에 대해 $ \|u - u_N\|_{H^1(\Omega)} \leq C\exp(-bM^{1/(2d+1)}) $ 형식의 지수 근사 속도를 증명한다. 여기서 $ M $ 은 ReLU 네트워크의 파arameter 수이다.
• 근사 오차는 네트워크 파arameter 수에 대해 지수적으로 감쇠되며, 지수 $ 1/(2d+1) $ 는 정확도에 대해 깊이 및 크기의 다항로그 성장(폴리-로그)을 나타낸다.
• 결과는 리프시츠 다각형(2D) 및 피히레라 유형의 다면체 영역(3D)에서의 가중치가 부여된 해석 함수 클래스에 적용되며, 이는 모서리 및 모서리 특이성을 가진 타원형 PDE의 해를 포함한다.
• 방법은 텐서 곱 $ hp $-유한요소 근사와 연결 및 곱셈 모의와 같은 신경망 연산을 활용하여 지수 수렴을 달성하는 ReLU 네트워크를 구성한다.
• 이 프레임워크는 분석적 비선형성과 특이한 가중치가 부여된 잠재력을 포함한 비선형 고유값 문제의 해 근사에 지원하며, 원자핵에서 점 특이성을 가진 전자 밀도와 같은 사례를 포함한다.
• 이론적 결과는 변분 전자 구조 알고리즘과 특이 해를 가진 PDE 해법에서 딥 뉴럴 네트워크의 경험적 성공에 대한 수학적 정당성을 제공한다.