[논문 리뷰] Understanding and Mitigating Extrapolation Failures in Physics-Informed Neural Networks

Lukas Fesser, Luca D’Amico-Wong외 1명|arXiv (Cornell University)|2023. 06. 15.

Model Reduction and Neural Networks인용 수 4

한 줄 요약

이 논문은 물리법칙을 통합한 신경망(PINNs)의 외삽 실패의 주요 원인으로 고주파 성분이 아닌, 해 함수의 푸리에 스펙트럼에서의 스펙트럼 이동을 규명한다. 이는 스펙트럼 이동을 정량화하기 위해 가중 편거리-푸리에(Weighted Wasserstein-Fourier, WWF) 거리를 도입하고, 유사한 PDE 기반 전이 학습이 스펙트럼 이동이 존재할 경우 외삽 오차를 최대 82%까지 감소시킬 수 있음을 보여준다.

ABSTRACT

Physics-informed Neural Networks (PINNs) have recently gained popularity due to their effective approximation of partial differential equations (PDEs) using deep neural networks (DNNs). However, their out of domain behavior is not well understood, with previous work speculating that the presence of high frequency components in the solution function might be to blame for poor extrapolation performance. In this paper, we study the extrapolation behavior of PINNs on a representative set of PDEs of different types, including high-dimensional PDEs. We find that failure to extrapolate is not caused by high frequencies in the solution function, but rather by shifts in the support of the Fourier spectrum over time. We term these spectral shifts and quantify them by introducing a Weighted Wasserstein-Fourier distance (WWF). We show that the WWF can be used to predict PINN extrapolation performance, and that in the absence of significant spectral shifts, PINN predictions stay close to the true solution even in extrapolation. Finally, we propose a transfer learning-based strategy to mitigate the effects of larger spectral shifts, which decreases extrapolation errors by up to 82%.

연구 동기 및 목표

• 고주파 성분의 영향으로 인한 것으로 일반적으로 여겨지는 것 외의 원인을 초월해 PINNs의 외삽 실패의 근본 원인을 규명하는 것.
• 푸리에 스펙트럼 분석을 통해 PINN 외삽을 가능하게 하거나 방해하는 PDE를 특성화하는 것.
• 외삽 성능을 예측할 수 있는 정량적 지표인 가중 편거리-푸리에 거리(Weighted Wasserstein-Fourier distance, WWF)를 개발하는 것.
• 스펙트럼 이동이 PDE 해에 존재할 경우 전이 학습이 외삽 오차를 완화할 수 있는지 평가하는 것.
• 낮은 차원 및 높은 차원의 PDE에 걸쳐 연구 결과의 일반화성을 입증하는 것.

제안 방법

• 저자들은 다양한 PDE에서 해 함수의 푸리에 스펙트럼을 분석하여 시간에 따라 스펙트럼 지지의 이동 여부를 탐지한다.
• 외삽 영역과 보간 영역 간의 스펙트럼 이동을 정량화하기 위해 가중 편거리-푸리에(Weighted Wasserstein-Fourier, WWF) 거리를 도입한다.
• 시간에 따라 변화하는 PDE에 대해 초기 조건과 경계 조건이 알려진 상황에서 PINNs를 훈련하고, 훈련 시간 범위를 초월한 외삽 성능을 평가한다.
• 전이 학습은 유사한 PDE 가족(예: 확산 계수나 레이놀즈 수와 같은 매개변수의 변화가 있는 경우)에서 사전 훈련한 후 목표 PDE에서 미세조정을 통해 적용된다.
• 기본 PINNs, 반도메인 전이 학습, 전도메인 전이 학습을 비교하여 외삽 정확도 향상 여부를 평가한다.
• 훈련 및 외삽 간격에서 해의 푸리에 스펙트럼 간 WWF 거리를 계산하여 관측된 외삽 오차와 상관관계를 분석한다.

실험 결과

연구 질문

• RQ1 해 함수에 고주파 성분이 존재하지 않더라도 PINNs의 외삽 실패 원인은 무엇인가?
• RQ2 PDE 해의 푸리에 스펙트럼에서의 스펙트럼 이동이 PINN 외삽 성능을 예측할 수 있는가?
• RQ3 해 역학에서 스펙트럼 이동이 존재할 경우 전이 학습이 외삽 성능 향상에 기여하는가?
• RQ4 스펙트럼 이동의 유무가 PINNs에서 전이 학습의 성능에 미치는 영향은 어떠한가?
• RQ5 제안된 WWF 거리가 PINNs의 외삽 오차를 신뢰성 있게 예측할 수 있는가?

주요 결과

• PINNs의 외삽 실패는 해 함수의 고주파 성분 때문이 아니라, 이전의 추측과 정반대되는 결과를 보였다.
• 스펙트럼 이동—시간에 따라 푸리에 스펙트럼의 지지 영역이 변화하는 것—이 PINNs의 외삽 오차의 주요 원인이다.
• 가중 편거리-푸리에(Weighted Wasserstein-Fourier, WWF) 거리는 스펙트럼 이동을 성공적으로 정량화하고 PINN의 외삽 성능을 높은 정확도로 예측한다.
• 스펙트럼 이동이 없을 경우 전이 학습은 외삽 성능 향상에 기여하지 않으며, 이는 스펙트럼 이동이 완화의 핵심 대상임을 확인한다.
• 유사한 PDE 기반 전이 학습은 스펙트럼 이동이 뚜렷이 존재할 경우 외삽 오차를 최대 82%까지 감소시킨다.
• 전이 학습의 이점은 외삽에 국한되며, 보간 영역에서는 더 강한 인도적 편향으로 인해 성능 저하가 발생할 수 있다.