[논문 리뷰] Convergence Analysis for the PINNs.

Yuling Jiao, Yanming Lai외 4명|arXiv (Cornell University)|2021. 09. 04.

Model Reduction and Neural Networks참고 문헌 29인용 수 7

한 줄 요약

이 논문은 딜리클레 경계 조건을 가진 2차 타원형 PDE에 적용된 물리 기반 신경망(PINNs)에 대한 최초의 수렴 분석을 수립한다. 오차를 근사 오차와 통계 오차로 분해함으로써, ReLU³ 신경망과 라데마처 복잡도를 사용하여 네트워크 폭, 깊이, 학습 샘플 수에 대한 경계를 도출하며, 명시적인 일반화 오차 제어를 통해 수렴을 증명한다.

ABSTRACT

In recent years, physical informed neural networks (PINNs) have been shown to be a powerful tool for solving PDEs empirically. However, numerical analysis of PINNs is still missing. In this paper, we prove the convergence rate to PINNs for the second order elliptic equations with Dirichlet boundary condition, by establishing the upper bounds on the number of training samples, depth and width of the deep neural networks to achieve desired accuracy. The error of PINNs is decomposed into approximation error and statistical error, where the approximation error is given in $C^2$ norm with $\mathrm{ReLU}^{3}$ networks, the statistical error is estimated by Rademacher complexity. We derive the bound on the Rademacher complexity of the non-Lipschitz composition of gradient norm with $\mathrm{ReLU}^{3}$ network, which is of immense independent interest.

연구 동기 및 목표

• 2차 타원형 PDE에 대한 PINNs 이론적 이해의 격차를 메우기 위해, 엄밀한 수렴 분석을 제공함으로써 이론적 기반을 강화한다.
• PINNs의 총 오차를 $C^2$ 노름에서의 근사 오차와 라데마처 복잡도를 통한 통계 오차로 분해한다.
• 목표 정확도를 달성하기 위해 필요한 네트워크 폭, 깊이, 학습 샘플 수에 대한 명시적인 상한을 유도한다.
• 비리프시츠 성질을 가진 기울기 노름과 ReLU³ 신경망의 복합 함수에 대한 라데마처 복잡도에 대한 새로운 경계를 수립하며, 이는 별개의 이론적 의의를 지닌다.

제안 방법

• ReLU³ 딥 신경망을 통해 유도된 $C^2$ 노름 오차 경계를 사용하여 근사 오차를 분석한다.
• 라데마처 복잡도를 적용하여 PINNs의 손실 함수 최적화 과정에서의 통계 오차를 정량화한다.
• 기울기 노름과 ReLU³ 신경망의 복합 함수를 분석하여, 비리프시츠 성질을 가진 라데마처 복잡도 경계를 도출한다.
• 네트워크 아키텍처와 학습 샘플 수 조절을 통해 근사 오차와 통계 오차를 균형 잡음으로써 수렴을 확립한다.
• 총 오차를 근사 오차와 통계 오차로 분리하는 분해 기법을 사용하여 각각을 별도로 분석할 수 있도록 한다.
• 목표 정확도를 달성하기 위해 네트워크 깊이, 폭, 학습 샘플 수에 대한 명시적인 상한을 유도한다.

실험 결과

연구 질문

• RQ1 디리클레 경계 조건을 가진 2차 타원형 PDE에 대한 PINNs의 수렴 속도는 무엇인가?
• RQ2 네트워크 폭, 깊이, 학습 샘플 수는 PINNs의 일반화 오차에 어떤 영향을 미치는가?
• RQ3 ReLU³ 신경망과 기울기 노름의 비리프시츠 복합 함수는 라데마처 복잡도로 유 bounds할 수 있는가?
• RQ4 $C^2$ 노름에서의 근사 오차와 PINNs의 일반화 성능 사이의 관계는 무엇인가?
• RQ5 아키텍처 및 데이터 크기 파ameter를 통해 PINNs의 총 오차는 어떻게 분해하고 제어할 수 있는가?

주요 결과

• 이 논문은 딜리클레 조건을 가진 2차 타원형 PDE를 해결하는 데 있어 PINNs에 대한 최초의 수렴 속도 분석을 수립한다.
• 목표 정확도를 달성하기 위해 필요한 학습 샘플 수, 네트워크 깊이, 폭에 대한 명시적인 상한을 제공한다.
• 근사 오차는 ReLU³ 신경망을 사용하여 $C^2$ 노름에서 경계지며, 해의 근사의 매끄러움을 보장한다.
• 기울기 노름과 ReLU³ 신경망의 비리프시츠 복합 함수에 대한 라데마처 복잡도에 대한 새로운 경계를 도출하였으며, 이는 별개의 이론적 가치를 지닌다.
• 통계 오차는 라데마처 복잡도를 통해 제어되어 PINN 학습 과정의 일반화 보장을 가능하게 한다.
• 네트워크 폭, 깊이, 학습 샘플 수가 적절히 스케일링될 때 총 오차가 수렴함을 보여준다.