[논문 리뷰] Estimates on the generalization error of Physics Informed Neural Networks (PINNs) for approximating PDEs

Siddhartha Mishra, R. Molinaro|arXiv (Cornell University)|2020. 06. 29.

Model Reduction and Neural Networks인용 수 30

한 줄 요약

이 논문은 forward PDE 문제에 대한 PINN의 일반화 오차에 상한을 제시하고, 이 오차를 학습 오차, quadrature/샘플링 크기, 그리고 PDE의 안정성과 연결하며, 여러 비선형 PDE 예제와 수치 실험과 함께 프레임워크를 보여준다.

ABSTRACT

Physics informed neural networks (PINNs) have recently been widely used for robust and accurate approximation of PDEs. We provide rigorous upper bounds on the generalization error of PINNs approximating solutions of the forward problem for PDEs. An abstract formalism is introduced and stability properties of the underlying PDE are leveraged to derive an estimate for the generalization error in terms of the training error and number of training samples. This abstract framework is illustrated with several examples of nonlinear PDEs. Numerical experiments, validating the proposed theory, are also presented.

연구 동기 및 목표

• Forward PDE를 해결하는 PINN의 일반화 오차를 일반적으로 바운드하기 위한 이론적 프레임워크를 개발한다.
• 일반화 오차를 학습 오차, quadrature(샘플링) 오차, 그리고 PDE의 안정성 특성에 관련지을 것.
• 추상 바운드가 적용되는 구체적 예로서 (포물형, 보존 법칙, 오일러 방정식)을 제시하고 수치 실험으로 검증한다.
• quadrature 분석 및 안정성 상수를 통해 학습 포인트의 수와 선택이 오차에 어떤 영향을 미치는지 명확히 한다.

제안 방법

• Banach 공간 X와 Y를 갖는 추상 PDE 설정을 형식화하고, X*에서 Y*로 매핑되는 미분 연산자 D를 포함하며 안정성 경계(H3)를 포함한다.
• 추상 PINN 잔여 Rθ(uθ)=D(uθ)−f를 도입하고, 잔여를 기반으로 한 손실을 quadrature 포인트 위에서 최소화한다.
• 안정성 및 quadrature에 대한 가정하에 EG ≤ C_pde ET + C_pde C_quad^(1/p) N^(−α/p)인 일반화 오차 경계(Theorem 2.6)를 도출한다.
• Gauss, 저편차(discrepancy가 낮은), 몬테카를로 등 수치적분 규칙과 그 수렴 속도 α가 C_quad에 어떻게 영향을 주는지 논의한다.
• 해(solution 데이터) 없이 PDE 잔여만으로 PINN을 학습하는 알고리즘 프레임워크(Algorithm 2.3)를 제시한다.
• 무작위 학습 포인트 및 누적(평균) 일반화/학습 오차를 포함한 확장과 Lemma 2.10(2.29)을 설명한다.
• 추상 프레임워크를 세 가지 구체적 PDE 예제로 시연한다: 반선형 포물방정식, 점성 스칼라 보존 법칙, 비압축성 오일러 방정식과 이에 대한 수치 실험으로 이론을 검증한다.

실험 결과

연구 질문

• RQ1 forward PDE 문제에 대한 PINN의 일반화 오차를 학습 오차 및 샘플링 측면에서 어떻게 바운드할 수 있는가?
• RQ2 PDE의 안정성 및 quadrature 정확도가 PINN의 일반화 오차를 제어하는 데 어떤 역할을 하는가?
• RQ3 학습(collocation) 포인트의 수와 배치가 실제 PDE 설정에서 도출된 오차 경계에 어떻게 영향을 미치는가?
• RQ4 추상적 경계가 비선형 PDE들인 포물형 포락, 점성 보존 법칙, 비정형 비압축성 오일러 방정식에 적용되며 수치 실험이 이론을 뒷받침하는가?

주요 결과

• 일반화 오차 경계가 설정되며, 전체 오차는 학습 오차와 N 및 quadrature 속도 α에 따라 스케일링되는 quadrature 기반 항에 의해 제어된다.
• 경계(C_pde)와 잔여 및 신경망 세부 정보를 반영하는 quadrature 상수(C_quad)에 의존하는 안정성 상수에 의해 경계가 좌우된다.
• 추상 프레임워크가 비선형 PDE들에 적용되며, 포물형 포정, 점성 스칼라 보존 법칙, 비압축성 오일러 방정식에 대한 구체적 예와 이론을 검증하는 수치 실험이 포함된다.
• PDE 잔여 최소화가 PINN의 일반화 오차에 대한 제어 가능성을 뒷받침하며, 합리적 규칙성과 안정성 가정 하에 이를 뒷받침한다.