[논문 리뷰] Two-Layer Neural Networks for Partial Differential Equations: Optimization and Generalization Theory

Tao Luo, Haizhao Yang|arXiv (Cornell University)|2020. 06. 28.

Model Reduction and Neural Networks참고 문헌 49인용 수 50

한 줄 요약

이 논문은 과매개변수화된 이층 신경망에서의 경사하강법이 최소제곱 형태로 이차 계(2차) 선형 편미분방정식(PDE)을 풀이하기 위한 전역 최적점(global minimizer)을 찾을 수 있음을 보이고, Barron-type 공간에서의 일반화도 분석한다.

ABSTRACT

The problem of solving partial differential equations (PDEs) can be formulated into a least-squares minimization problem, where neural networks are used to parametrize PDE solutions. A global minimizer corresponds to a neural network that solves the given PDE. In this paper, we show that the gradient descent method can identify a global minimizer of the least-squares optimization for solving second-order linear PDEs with two-layer neural networks under the assumption of over-parametrization. We also analyze the generalization error of the least-squares optimization for second-order linear PDEs and two-layer neural networks, when the right-hand-side function of the PDE is in a Barron-type space and the least-squares optimization is regularized with a Barron-type norm, without the over-parametrization assumption.

연구 동기 및 목표

• PDE 해를 뉴럴 네트워크로 매개변수화하여 최소제곱 문제로 형식화한다.
• 이차 계 선형 PDE에 대해 과매개변수화 하에서 경사하강법의 전역 최적점으로의 수렴을 보인다.
• Barron-type 공간과 경로 노름을 활용하여 PDE 해법의 일반화 경계를 개발한다.
• 경계 조건이 있는 설정에서 뉴럴 텐턴 유도(kernel) 기반 분석을 PDE 해법에 확장한다.
• PDE 맥락에서 경험적 손실과 모집단 손실을 비교하는 프레임워크를 제공한다.

제안 방법

• 해답을 매개변수화하기 위해 이층 신경망을 사용하고, 내부 연산자와 경계 연산자를 결합한 모집단 손실을 형식화한다.
• 경계 조건이 많은 문제를 네트워크가 특정 경계 조건을 본질적으로 만족하도록 보조 함수로 설계된 형식으로 변환한다.
• 과매개변수화와 유한한 연산자 가정 하에서 경험적 손실의 전역 최적점으로의 선형 수렴을 증명한다.
• Barron-type 함수 공간과 경로 노름을 도입하여 복잡도를 정량화하고 잘라내기(truncation) 트릭 없이 일반화 경계를 가능하게 한다.
• PDE 해법 설정에 대해 Rademacher 복잡도를 사용한 사후적 및 사전적 일반화 경_BOUND를 도출한다.
• Barron-type 노름과 정규화를 통해 경험적 최적화와 모집단 최적화를 연결한다.

실험 결과

연구 질문

• RQ1 과매개변수화된 이층 네트워크로 최소제곱 PDE 해법의 전역 최적점을 경사하강법으로 식별할 수 있는가?
• RQ2 Barron-type 공간에 RHS가 놓인 경우 경험적 최적점과 모집단 최적점의 차이는 어떠한가?
• RQ3 경계 조건을 자동으로 충족하도록 설계된 네트워크를 설계할 때 경계 조건이 어떤 역할을 하는가?
• RQ4 Barron-type 노름과 경로 노름 정규화를 사용하는 PDE 해법의 일반화 보장은 무엇인가?
• RQ5 Rademacher 복잡도를 활용하여 PDE 신경망 해법의 일반화 오차를 어떻게 상한화할 수 있는가?

주요 결과

• 과매개변수화 하에서 경사하강법은 이차 선형 PDE에 대한 경험적 PDE 손실의 전역 최적점으로의 선형 수렴을 달성한다.
• 사후 일반화 격차는 경로 노름의 항과 샘플 크기의 제곱근에 반비례하는 항으로 한정된다.
• RHS가 Barron-type 공간에 속하고 Barron-type 정규화가 사용되면 사전 일반화 경계는 대상 함수의 Barron 노름에 의해 스케일링된다.
• 특수한 경계 조건 설계 네트워크는 손실의 하이퍼파라미터를 조정하여 PDE와 경계 항 간의 균형을 맞추는 필요를 제거한다.
• 이 분석은 뉴럴 텐턴 커널 아이디어와 Barron-space 일반화 이론을 변係수 및 2차 연산자를 갖는 PDE 해법으로 확장한다.