[논문 리뷰] Error estimates of residual minimization using neural networks for linear PDEs

Yeonjong Shin, Zhongqiang Zhang외 1명|arXiv (Cornell University)|2020. 10. 15.

Model Reduction and Neural Networks참고 문헌 43인용 수 34

한 줄 요약

논문은 선형 PDE에서 신경망 기반 잔차 최소화를 위한 추상 수렴 프레임워크를 개발하고, 강형/약형(PINN 및 변분 PINN) 모두에 대해 a priori 및 a posteriori 오차 추정치를 도출하며, 이산 손실과 연속 손실을 분석한다.

ABSTRACT

We propose an abstract framework for analyzing the convergence of least-squares methods based on residual minimization when feasible solutions are neural networks. With the norm relations and compactness arguments, we derive error estimates for both continuous and discrete formulations of residual minimization in strong and weak forms. The formulations cover recently developed physics-informed neural networks based on strong and variational formulations.

연구 동기 및 목표

• 선형 PDE에 대해 신경망으로 잔차 최소화를 수렴성을 분석하기 위한 추상 프레임워크를 도입한다.
• 강형 및 약형에서 연속 및 이산 손실 형태에 대한 a priori 및 a posteriori 오차 추정치를 도출한다.
• 적절한 가정 하에서 수렴을 보이고 PINN 및 hp-VPINN 변형과 연결한다.
• 타원 문제, advection–reaction, 및 부분 확산 예제 문제들로 이론적 가정을 타당성 있게 검증한다.

제안 방법

• 노름 관계 C1 및 C2를 가지는 선형 문제 A[u]=f, B[u]=g를 형식화하고 가정 3에 따라 존재성/유일성을 입증한다.
• 네 가지 손실 함수들을 제안한다: discrete RM, continuous RM, discrete hp-VRM, 그리고 continuous hp-VRM.
• 연속 RM에 대한 오차 추정치와 수렴 결과(정리 9 및 10)를 입증하고 이를 신경망의 보편 근사(가정 2.3)와 연결한다.
• a priori 및 a posteriori 오차 경계(예: 정리 9,식(7)-(10))를 도출하고 수렴에 대한 이산화 효과를 논의한다.
• 호환성/이산화 가정을 논의하고 프레임워크를 검증하는 예시를 제시한다.

실험 결과

연구 질문

• RQ1 신경망 기반 잔차 최소화 해가 진짜 PDE 해로 수렴하도록 보장하는 조건은 무엇인가?
• RQ2 연속 잔차와 이산 잔차, 강 잔차와 약 잔차가 오차 경계와 수렴에 어떻게 영향을 미치는가?
• RQ3 수렴을 위해 필요한 신경망 근사 특성은 무엇인가(보편 근사, 노름 관계 포함)?
• RQ4 손실의 이산화가 수렴에 어떻게 영향을 미치며, 어떤 가정이 그것을 보장하는가?

주요 결과

• 그래프 규범 안정성과 보편 근사를 수렴 결과에 연결하는 추상 프레임워크를 확립했다.
• a posteriori 오차 추정치를 도출: ||u_N,n^τ - u*||_V ≤ C1^{-1} 2^{(p-1)/p} (J_τ(u_N,n^τ))^{1/p} for τ ≥ 1.
• 최적의 신경망 근사 오차와 데이터 근사 항을 포함하는 a priori 오차 경계를 도출했다.
• 주어진 가정 하에 연속 RM의 수렴을 증명했다: u_N,n^τ → u* in V as n → ∞ (정리 10).
• 이산화 호환성의 결정적 역할을 강조하고 적절한 가정이 없으면 잠재적 실패를 보였다(예 4).