[논문 리뷰] When Do Extended Physics-Informed Neural Networks (XPINNs) Improve Generalization?

Zheyuan Hu, Ameya D. Jagtap외 2명|arXiv (Cornell University)|2021. 09. 20.

Model Reduction and Neural Networks인용 수 12

한 줄 요약

이 논문은 확장된 물리 기반 신경망(XPINNs)이 표준 PINNs보다 일반화 성능을 향상시키는 조건에 대한 이론적 분석를 처음으로 제시한다. 바론 공간과 스펙트럼 노름을 사용하여 사전 및 사후 일반화 경계를 유도함으로써, 도메인 분할은 각 하위영역의 해 복잡도를 감소시켜 일반화를 향상시키지만, 각 하위망의 훈련 데이터를 제한함으로써 과적합 위험을 증가시킨다는 상충 관계를 규명한다. XPINNs가 PINNs를 능가하는 것은 이러한 복잡도 감소 효과가 데이터 부족 문제를 상쇄할 때 발생한다.

ABSTRACT

Physics-informed neural networks (PINNs) have become a popular choice for solving high-dimensional partial differential equations (PDEs) due to their excellent approximation power and generalization ability. Recently, Extended PINNs (XPINNs) based on domain decomposition methods have attracted considerable attention due to their effectiveness in modeling multiscale and multiphysics problems and their parallelization. However, theoretical understanding on their convergence and generalization properties remains unexplored. In this study, we take an initial step towards understanding how and when XPINNs outperform PINNs. Specifically, for general multi-layer PINNs and XPINNs, we first provide a prior generalization bound via the complexity of the target functions in the PDE problem, and a posterior generalization bound via the posterior matrix norms of the networks after optimization. Moreover, based on our bounds, we analyze the conditions under which XPINNs improve generalization. Concretely, our theory shows that the key building block of XPINN, namely the domain decomposition, introduces a tradeoff for generalization. On the one hand, XPINNs decompose the complex PDE solution into several simple parts, which decreases the complexity needed to learn each part and boosts generalization. On the other hand, decomposition leads to less training data being available in each subdomain, and hence such model is typically prone to overfitting and may become less generalizable. Empirically, we choose five PDEs to show when XPINNs perform better than, similar to, or worse than PINNs, hence demonstrating and justifying our new theory.

연구 동기 및 목표

• XPINNs가 PDE를 해결하는 데 있어 일반화 성능을 향상시킬 수 있는 조건을 이론적으로 이해하는 것.
• 함수 복잡도와 네트워크 용량 측도를 사용하여 다층 PINNs 및 XPINNs의 일반화 경계를 유도하는 것.
• XPINNs에서 하위영역 복잡도 감소와 각 하위망의 훈련 데이터 제한 간의 상충 관계를 규명하는 것.
• 다섯 개인 PDE에 대한 분석적 예제와 수치 실험을 통해 이론적 예측을 검증하는 것.

제안 방법

• 목표 함수의 바론 노름을 사용하여 추가 가정 없이도 복잡도를 측정하는 PINNs의 사전 일반화 경계를 유도한다.
• 네트워크 가중치 행렬의 스펙트럼 노름과 (2,1)-노름을 활용하여 학습된 네트워크 용량을 반영하는 사후 일반화 경계를 수립한다.
• 각 하위영역에 대해 경계 적용하고 경계점 분포 기반 가중 평균을 사용하여 경계를 조합함으로써 PINN 경계를 XPINNs로 확장한다.
• 정리 3.1과 정리 3.2를 활용하여 PINN과 XPINN의 일반화 경계를 비교함으로써 경계 손실과 데이터 부족 영향을 중심으로 분석한다.
• 분석적 PDE 예제와 다섯 개인 벤치마크 PDE에 대한 수치 실험을 통해 이론적 예측을 검증한다.
• 각 하위망의 복잡도 감소와 훈련 데이터 감소 간의 상충 관계를 평가함으로써 일반화 성능을 비교한다.

Figure 2: Data visualization for the KdV experiment. Left: exact solution of the KdV equation. Right: Training points.

실험 결과

연구 질문

• RQ1 XPINNs에서 도메인 분할이 표준 PINNs보다 일반화 성능을 향상시킬 수 있는 조건은 무엇인가?
• RQ2 하위영역 별 해 복잡도 감소가 XPINNs의 일반화 성능에 어떤 영향을 미치는가?
• RQ3 XPINNs에서 각 하위망의 훈련 데이터 감소가 일반화에 어느 정도 악영향을 미치는가?
• RQ4 이론적 일반화 경계는 XPINNs가 PINNs를 능가하거나, 동등하거나, 열등한 경우를 예측할 수 있는가?
• RQ5 스펙트럼 노름과 바론 공간 복잡도는 PINNs 및 XPINNs의 일반화 행동과 어떻게 관련되는가?

주요 결과

• XPINNs는 하위영역 해 복잡도 감소 효과가 각 하위망의 훈련 데이터 부족 문제를 상쇄할 때 일반화 성능을 향상시킨다.
• XPINNs의 이론적 일반화 경계는 하위영역 바론 노름의 가중합과 하위영역 경계점 수의 역제곱근 간의 상충 관계에 의해 결정된다.
• 다섯 개인 PDE에 대한 실증 결과는 XPINNs가 고다양성 또는 다물리적 특성을 지닌 문제에서 PINNs를 능가함을 확인한다. 이러한 문제에서는 분할에 의해 국소 복잡도가 감소하기 때문이다.
• 부드럽고 저복잡도 해를 가지는 문제에서는 PINNs가 더 나은 일반화 성능를 보이며, 이는 각 네트워크의 유효 훈련 데이터가 더 크기 때문이다.
• 스펙트럼 노름과 (2,1)-노름을 기반으로 한 사후 일반화 경계는 PINNs 및 XPINNs의 실제 일반화 행동을 효과적으로 반영한다.
• 정리 3.1과 정리 3.2를 통해 유도된 이론적 경계는 다양한 PDE 유형과 분할 전략에서 PINNs와 XPINNs의 상대적 성능을 성공적으로 예측한다.

Figure 3: Error visualization for the KdV experiment.