[논문 리뷰] Generic bounds on the approximation error for physics-informed (and) operator learning

Tim De Ryck, Siddhartha Mishra|arXiv (Cornell University)|2022. 05. 23.

Model Reduction and Neural Networks인용 수 29

한 줄 요약

이 논문은 PINN과 연산자 학습 아키텍처(DeepONets와 FNOs)에 대한 근사 오차에 대해 엄밀한 경계를 도출하는 일반 프레임워크를 제시하고, 물리정보 반영 변형을 포함하며, 특정 매끄러움 가정하에서 차원의 저주를 극복할 수 있음을 보인다.

ABSTRACT

We propose a very general framework for deriving rigorous bounds on the approximation error for physics-informed neural networks (PINNs) and operator learning architectures such as DeepONets and FNOs as well as for physics-informed operator learning. These bounds guarantee that PINNs and (physics-informed) DeepONets or FNOs will efficiently approximate the underlying solution or solution operator of generic partial differential equations (PDEs). Our framework utilizes existing neural network approximation results to obtain bounds on more involved learning architectures for PDEs. We illustrate the general framework by deriving the first rigorous bounds on the approximation error of physics-informed operator learning and by showing that PINNs (and physics-informed DeepONets and FNOs) mitigate the curse of dimensionality in approximating nonlinear parabolic PDEs.

연구 동기 및 목표

• PDE 환경에서 PINN과 연산자 학습 아키텍처에 대한 근사 오차를 구속하는 일반 프레임워크를 동기부여하고 형식화한다.
• 신경망, 시공간 네트워크, 물리정보 반영 변형 간의 오차 추정치를 연결하여 일관된 보장을 얻는다.
• 물리정보 반영 연산자 학습에 대한 최초의 엄밀한 경계를 도출하고, 매끄러움 가정하에 차원 독립적 수렴을 입증한다.
• 기존 신경망 근사 결과가 복잡한 PDE 학습 아키텍처에 대한 경계를 어떻게 도출하는지 보인다.

제안 방법

• 해결 가능한 PDE 해를 제어된 노름을 가진 효율적으로 근사 가능한 신경 대리모형과 연결하는 일반적인 가정 프레임워크(가정 3.1)를 확립한다.
• 오차 전이 기술을 개발하여 고정 시간 NN 근사에 대한 여유 마진 추정이 시공간 네트워크, PINN, 물리정보 연산자 학습자까지 확장됨을 보인다(정리 3.5–3.10).
• 시간 이산화를 위한 테일러 전개와 공간 미분에 대한 유한 차이 근사를 이용하여 시공간 근사 오차를 경계한다(정리 3.5).
• 푸리에 신경 연산자(FNO)와 DeepONet 간의 알려진 연결을 활용하여 일반적 연산자 학습 경계를 도출한다(정리 3.7 및 보충령 3.8).
• 안정성 조건(가정 3.6)을 가하여 FNO/DeepONet으로 근사된 연산자에 대한 L2/L∞ 오차 경계를 얻는다(정리 3.7).
• 사후 일반화 경계(정리 3.11)를 제공하고 학습 크기가 구조적 복잡성과 어떻게 상호작용하는지 보인다.

실험 결과

연구 질문

• RQ1 하나의 통합 프레임워크가 광범위한 PDE 클래스에 걸쳐 PINN과 연산자 학습 모델(DeepONet 및 FNO)을 위한 근사 오차에 대한 엄밀하고 일반적인 경계를 제시할 수 있는가?
• RQ2 물리정보 반영 연산자 학습 변형(PINN 유사 DeepONet/FNO)이 데이터 중심 버전과 동일한 차수의 근사를 보이고, 차원의 저주를 완화할 수 있는가?
• RQ3 알려진 신경망 근사 결과를 시공간 네트워크와 물리정보 연산자에 어떻게 전이하여 효율적이고 차원 독립적 수렴을 얻을 수 있는가?
• RQ4 매끄러움, 안정성, 경계 조건 가정 등 어떤 조건 하에서 PINN과 물리정보 연산자 학습의 차원 독립적 수렴 속도를 보장할 수 있는가?
• RQ5 이러한 아키텍처의 학습 이론적 관점에서의 일반화 보장은 무엇인가(사후 경계)?

주요 결과

• 저자들은 물리정보 반영 연산자 학습(PINN-DeepONet/FNO 변형)에 대한 최초의 엄밀한 경계를 제시한다.
• 시공간 PINN과 물리정보 연산자가 특정 규칙성 조건에서 차원에 따라 지수적으로 증가하지 않는 근사 오차를 달성할 수 있음을 입증한다(차원 독립성).
• 고정 시간 NN이 PDE 해를 효율적으로 근사하면 시공간 네트워크와 연산자 학습 대리자도 효율적인 근사 특성을 물려받을 수 있음을 입증한다(정리 3.5).
• FNO에 대한 일반적 오차 경계가 도출되며, 알려진 DeepONet-FNO 연결을 통해 DeepONet에 대한 대응 경계도 얻어진다(정리 3.7 및 보충령 3.8).
• 사후 일반화 오차 경계를 제공하고, 표준 조건하에서 기대 일반화 오차가 학습 오차와 복잡도 의존 항에 의해 통제될 수 있음을 보인다(정리 3.11).
• 적용 예로 비선형 파라볼릭 PDE(예: Allen–Cahn)에 대해 PINN이 차원의 저주를 극복하고 물리정보 연산자 학습의 차원 독립적 수렴을 보여주는 것을 포함한다(섹션 4).