[논문 리뷰] On the Convergence and generalization of Physics Informed Neural Networks.

Yeonjong Shin, Jérôme Darbon외 1명|arXiv (Cornell University)|2020. 04. 03.

Model Reduction and Neural Networks참고 문헌 9인용 수 53

한 줄 요약

이 논문은 물리법칙을 통합한 신경망(PINNs)에 대한 최초의 이론적 기반을 수립하며, 학습 데이터가 증가함에 따라 PINNs가 생성하는 신경망 최소화자들의 수열이 타원형 및 포아송형 PDE의 진짜 해로 $L^2$ 노름에서 강한 수렴을 보임을 증명한다. 각 최소화자가 초기/경계 조건을 정확히 만족할 경우, 수렴 방식은 $L^2$에서 $H^1$으로 향상된다.

ABSTRACT

Physics informed neural networks (PINNs) are deep learning based techniques for solving partial differential equations (PDEs). Guided by data and physical laws, PINNs find a neural network that approximates the solution to a system of PDEs. Such a neural network is obtained by minimizing a loss function in which any prior knowledge of PDEs and data are encoded. Despite its remarkable empirical success, there is little theoretical justification for PINNs. In this paper, we establish a mathematical foundation of the PINNs methodology. As the number of data grows, PINNs generate a sequence of minimizers which correspond to a sequence of neural networks. We want to answer the question: Does the sequence of minimizers converge to the solution to the PDE? This question is also related to the generalization of PINNs. We consider two classes of PDEs: elliptic and parabolic. By adapting the Schuader approach, we show that the sequence of minimizers strongly converges to the PDE solution in $L^2$. Furthermore, we show that if each minimizer satisfies the initial/boundary conditions, the convergence mode can be improved to $H^1$. Computational examples are provided to illustrate our theoretical findings. To the best of our knowledge, this is the first theoretical work that shows the consistency of the PINNs methodology.

연구 동기 및 목표

• 물리법칙을 통합한 신경망(PINNs)에 대한 엄밀한 수학적 기반을 제공할 것. 현재는 강력한 경험적 성능를 보이지만 이론적 근거가 부족한 상태이다.
• 학습 데이터 포인트 수가 증가함에 따라 PINNs가 생성하는 최소화자들의 수열이 진짜 PDE 해로 수렴하는지 조사할 것.
• 학습된 신경망 근사의 수렴 성질을 분석하여 PINNs의 일반화 행동을 연구할 것.
• Schauder 접근법을 PINNs에 확장하고 초기 및 경계 조건 강제 조건이 있는 현실적인 조건 하에서 수렴을 확립할 것.

제안 방법

• Schauder 고정점 정리 프레임워크를 적응하여 PINN 최소화자들의 수렴을 분석할 것.
• PINN 손실 함수를 데이터 적합성과 물리 법칙 이행 항의 조합으로 설정하여 PDE 제약 조건을 최적화 목표에 직접 통합할 것.
• 학습 데이터 포인트 수가 증가함에 따라 타원형 및 포아송형 PDE에 대해 강한 $L^2$ 수렴을 증명할 것.
• 각 최소화자가 초기 및 경계 조건을 정확히 만족할 경우, $H^1$ 수렴이 향상됨을 확립할 것.
• 변분 분석과 컴팩트니스 추론을 사용하여 최소화자 수열이 전결정적임을 보이고 PDE의 해로 수렴함을 보일 것.
• 함수 해석 도구를 적용하여 극한 해의 존재성과 유일성을 보장하고 신경망 근사와 진짜 PDE 해 사이의 연결을 확립할 것.

실험 결과

연구 질문

• RQ1 학습 데이터 포인트 수가 증가함에 따라 PINNs가 생성하는 신경망 최소화자들의 수열이 진짜 PDE 해로 수렴하는가?
• RQ2 초기 및 경계 데이터에 대한 다양한 조건 하에서 PINN 근사의 수렴 방식(예: $L^2$, $H^1$)은 어떻게 되는가?
• RQ3 Schauder 접근법을 PDE에 물리적 제약 조건이 있는 맥락에서 PINNs의 수렴을 증명하기 위해 적응시킬 수 있는가?
• RQ4 각 최소화자에서 초기 및 경계 조건을 강제로 구현할 경우, 수렴 속도와 근사의 노름에 어떤 영향을 미치는가?
• RQ5 데이터가 증가함에 따라 학습된 해가 진짜 PDE 해로 수렴하는 방식으로 PINN 방법론이 일관성 있는가?

주요 결과

• 학습 데이터 포인트 수가 증가함에 따라 PINNs가 생성하는 최소화자들의 수열이 $L^2$ 노름에서 진짜 PDE 해로 강한 수렴을 보인다.
• 각 최소화자가 초기 및 경계 조건을 정확히 만족할 경우, 수렴 방식이 $L^2$에서 $H^1$으로 향상되며, 더 높은 정규성과 근사 품질을 나타낸다.
• 이론적 프레임워크는 PINN 방법론의 일관성을 확립하며, 그 경험적 성공에 대한 첫 번째 공식적 근거를 제공한다.
• 수렴 결과는 타원형 및 포아송형 PDE 모두에 대해 증명되었으며, 이론적 접근의 광범위한 적용 가능성을 보여준다.
• Schauder 접근법의 사용은 함수 공간 내의 컴팩트니스와 연속성의 특성을 활용하여 수렴 증명을 가능하게 한다.
• 컴퓨터 시뮬레이션 예제들은 이론적 결과를 검증하며, 수렴 행동이 예측된 $L^2$ 및 $H^1$ 방식과 일치함을 보여준다.