[논문 리뷰] A Priori Generalization Analysis of the Deep Ritz Method for Solving High Dimensional Elliptic Equations

Jianfeng Lu, Yulong Lu외 1명|arXiv (Cornell University)|2021. 01. 05.

Model Reduction and Neural Networks참고 문헌 38인용 수 21

한 줄 요약

이 논문은 고차원 타원형 PDE(예: 포아송 방정식 및 슈뢰딩거 방정식)를 해결하는 데 있어 딥 릿지 방법(Deep Ritz Method, DRM)에 대한 사전 일반화 오차 분석을 제공한다. 정확한 해가 스펙트럴 바론 공간에 속해 있다는 가정 하에, 차원에 종속되지 않는 수렴 속도를 확립함으로써, 낮은 복잡도 함수 공간에서의 PDE 해 이론을 새롭게 제안하고, 신경망 근사 오차 및 일반화 오차가 차원에 유리하게 스케일링됨을 증명한다.

ABSTRACT

This paper concerns the a priori generalization analysis of the Deep Ritz Method (DRM) [W. E and B. Yu, 2017], a popular neural-network-based method for solving high dimensional partial differential equations. We derive the generalization error bounds of two-layer neural networks in the framework of the DRM for solving two prototype elliptic PDEs: Poisson equation and static Schrödinger equation on the $d$-dimensional unit hypercube. Specifically, we prove that the convergence rates of generalization errors are independent of the dimension $d$, under the a priori assumption that the exact solutions of the PDEs lie in a suitable low-complexity space called spectral Barron space. Moreover, we give sufficient conditions on the forcing term and the potential function which guarantee that the solutions are spectral Barron functions. We achieve this by developing a new solution theory for the PDEs on the spectral Barron space, which can be viewed as an analog of the classical Sobolev regularity theory for PDEs.

연구 동기 및 목표

• 고차원에서 신경망 기반 PDE 해법에 대한 엄밀한 오차 분석 부족 문제를 해결하기 위해.
• 특히 스펙트럴 바론 공간을 포함한 낮은 복잡도 함수 공간에서 타원형 PDE의 해 이론을 개발하기 위해.
• 딥 릿지 방법 프레임워크 내에서 두 층 신경망에 대한 사전 일반화 오차 경계를 유도하기 위해.
• 해가 스펙트럴 바론 공간에 속하도록 보장하는 강제항 및 포텐셜 함수에 대한 충분조건을 설정하기 위해.
• 딥 릿지 방법의 수렴 속도가 공간 차원 d에 대해 명시적으로 표현되며, d에 종속되지 않는 결과를 제공하기 위해.

제안 방법

• 저자들은余弦 급수 전개와 스펙트럼 분해를 이용해 스펙트럴 바론 공간을 도입하여, 주파수 크기에 따라 가중된 Fourier 계수의 합이 수렴하는 함수를 정의한다.
• 그들은 포아송 및 슈뢰딩거 방정식의 변분 형식을 스펙트럴 바론 공간에서 유도함으로써, 고전적 소볼레프 이론과 유사한 새로운 사전 해 이론을 가능하게 한다.
• 일반화 오차는 진짜 변분 최소화자와 경험적 최소화자 간의 차이를 통해 분석되며, 스펙트럴 바론 노름의 성질을 이용해 경계가 유도된다.
• 이 방법은 스펙트럴 바론 공간 내 함수의 곱을 분석할 수 있도록 해주는 코사인 급수 전개와 컨볼루션 항등식을 활용한다.
• 핵심 추정은 다음 항등식을 사용하여 유도된다: $ \|u - u^*_S\|_{H^1}^2 = \frac{1}{2}\|\nabla u - \nabla u^*_S\|_{L^2}^2 + \frac{1}{2}\|V^{1/2}(u - u^*_S)\|_{L^2}^2 $, 이는 에너지 오차를 $ L^2 $-노름과 연결한다.
• 분석은 해의 복잡도와 두 층 ReLU 네트워크에 의한 근사의 복잡도를 제어하기 위해 이산 푸리에 계수와 컨볼루션 항등식에 기반한다.

실험 결과

연구 질문

• RQ1 딥 릿지 방법의 일반화 오차 경계를 차원 d에 대한 명시적 의존성과 함께 사전 형식으로 도출할 수 있는가?
• RQ2 고차원 타원형 PDE의 해가 두 층 ReLU 네트워크에 의해 효율적으로 근사될 수 있도록 보장하는 함수 공간 가정은 무엇인가?
• RQ3 포아송 및 슈뢰딩거 방정식의 해가 스펙트럴 바론 공간에 속하기 위한 강제항 및 포텐셜 함수에 대한 조건은 무엇인가?
• RQ4 고전적 소볼레프 이론과 유사한, 스펙트럴 바론 공간에서의 타원형 PDE 해 이론을 개발할 수 있는가?
• RQ5 스펙트럴 바론 공간 가정 하에, 딥 릿지 방법의 일반화 오차 수렴 속도가 공간 차원 d에 종속되지 않는가?

주요 결과

• 정확한 해가 스펙트럴 바론 공간에 속해 있다는 가정 하에, 고차원 타원형 PDE를 해결하는 데 있어 딥 릿지 방법의 일반화 오차는 차원 d에 종속되지 않는 속도로 감소함을 입증한다.
• 논문은 d차원 단위 초입방체에서 포아송 및 슈뢰딩거 방정식의 해가 강제항 및 포텐셜 함수의 푸리에 계수에 대해 일정한 적분 가능성 및 감쇠 조건을 만족할 경우 스펙트럴 바론 공간에 속함을 보여준다.
• 저자들은 스펙트럴 바론 공간에서 타원형 PDE의 해 이론을 새롭게 제안하며, 고전적 소볼레프 유형 추정과 유사하지만 낮은 복잡도 함수 클래스에 적합하게 조정된 사전 추정을 제공한다.
• 스펙트럴 바론 공간 가정 하에 일반화 오차의 수렴 속도가 $ O(N^{-1/2}) $임을 입증하며, 여기서 N은 학습 샘플 수이며, 상수는 d에 종속되지 않는다.
• 분석 결과, DRM 내 근사 오차 및 일반화 오차는 해의 스펙트럴 바론 노름에 의해 지배되며, 이는 저주파 성분과 복잡도를 정량화한다.
• 논문은 스펙트럴 바론 정규성 조건이 고차원에서의 딥 릿지 방법 성공의 엄밀한 기초를 제공하며, 차원에 종속되지 않는 수렴을 가능하게 한다.