[논문 리뷰] Recipes for when Physics Fails: Recovering Robust Learning of Physics Informed Neural Networks

Chandrajit Bajaj, Luke McLennan외 2명|arXiv (Cornell University)|2021. 10. 26.

Model Reduction and Neural Networks인용 수 6

한 줄 요약

이 논문은 PDE를 푸는 데서 노이즈가 있는 학습 데이터에 대한 강건성을 향상시키기 위해 가우시안 프로세스(GP)로 부드럽게 처리한 물리기반 신경망(PINNs)을 제안한다. 경계 데이터를 GP 회귀를 통해 부드럽게 하고, 희소 유도 점을 사용함으로써 오차 전파를 줄이고, 충격파와 같은 날카운 특징을 유지하며, 불확실성 정량화를 가능하게 한다. 이 방법은 슈뢰딩거 방정식과 버거스 방정식에 대한 벤치마크 테스트에서 표준 PINNs와 물리기반 정규화 변형보다 뛰어난 성능을 보였다.

ABSTRACT

Physics-informed Neural Networks (PINNs) have been shown to be effective in solving partial differential equations by capturing the physics induced constraints as a part of the training loss function. This paper shows that a PINN can be sensitive to errors in training data and overfit itself in dynamically propagating these errors over the domain of the solution of the PDE. It also shows how physical regularizations based on continuity criteria and conservation laws fail to address this issue and rather introduce problems of their own causing the deep network to converge to a physics-obeying local minimum instead of the global minimum. We introduce Gaussian Process (GP) based smoothing that recovers the performance of a PINN and promises a robust architecture against noise/errors in measurements. Additionally, we illustrate an inexpensive method of quantifying the evolution of uncertainty based on the variance estimation of GPs on boundary data. Robust PINN performance is also shown to be achievable by choice of sparse sets of inducing points based on sparsely induced GPs. We demonstrate the performance of our proposed methods and compare the results from existing benchmark models in literature for time-dependent Schrödinger and Burgers' equations.

연구 동기 및 목표

• 노이즈가 있는 경계 데이터에 대한 표준 PINNs의 민감도와 측정 오차 하에서의 일반화 실패를 조사한다.
• 연속성 및 보존 법칙과 같은 물리 기반 정규화의 한계를 분석하여 PINNs에서 오차 전파를 방지하지 못하는 이유를 밝힌다.
• 노이즈가 있는 학습 데이터를 GP 기반으로 부드럽게 처리함으로써 오차 증폭을 완화하는 강건한 PINN 아키텍처를 개발한다.
• 경계 데이터에 대한 GP 사전분포에서의 분산 추정을 통해 PINN 예측의 불확실성 정량화를 가능하게 한다.
• 희소 유도 점을 사용한 희소 GP 프레임워크를 통해 GP 통합의 계산 비용을 줄인다.

제안 방법

• 노이즈가 있는 초기 조건 데이터를 GP 회귀를 적용해 부드럽게 처리한 후 PINN에 입력함으로써 고주파 노이즈와 불안정성을 줄인다.
• 적절히 선택된 유도 점을 사용한 희소 GP 설정을 통해 계산 비용을 줄이면서도 예측 정확도를 유지한다.
• GP로 부드럽게 처리한 경계 데이터를 PINN 손실 함수에 통합하여, PDE 잔여항 최소화를 통한 물리적 제약 조건을 유지한다.
• 경계 데이터에 대한 GP 모델의 예측 분산을 사용해 PINN 예측의 불확실성 추정을 수행한다.
• 시간에 따라 변화하는 PDE, 특히 비선형 슈뢰딩거 방정식과 버거스 방정식에 대해 노이즈가 있는 초기 조건 하에서 GP로 부드럽게 처리한 PINN을 훈련하고 평가한다.
• 정량적 오차 지표와 해의 정밀도 시각 분석을 통해 표준 PINNs, cPINNs, 기타 정규화 아키텍처와의 성능을 비교한다.

실험 결과

연구 질문

• RQ1 경계 데이터의 노이즈가 시간에 따라 변화하는 PDE를 푸는 데서 표준 PINNs의 일반화 능력과 해의 정밀도에 어떤 영향을 미치는가?
• RQ2 연속성 및 보존 법칙과 같은 물리 기반 정규화가 노이즈가 있는 PINN 훈련에서 강건성을 향상시키지 못하는 이유는 무엇인가?
• RQ3 노이즈가 있는 경계 데이터를 GP 기반으로 부드럽게 처리하면 PINNs에서 해의 정확도를 복구하고 오차 전파를 줄일 수 있는가?
• RQ4 경계 데이터의 GP 분산 추정을 통한 불확실성 정량화가 노이즈가 있는 데이터 하에서 PINN 예측의 신뢰도를 어떻게 향상시키는가?
• RQ5 희소 GP 근사가 GP로 부드럽게 처리한 PINNs에서 성능을 유지하면서도 계산 비용을 줄일 수 있는가?

주요 결과

• 노이즈가 있는 초기 데이터로 훈련된 표준 PINNs는 버거스 방정식에서 충격파와 같은 날카운 특징을 회복하지 못하며, 시간이 지남에 따라 오차 전파로 인해 해가 왜곡된다.
• cPINNs와 같은 물리 기반 정규화는 노이즈가 있는 데이터에 과적합되는 것을 방지하지 못하고, 오히려 진짜 물리적 해를 위반하는 국소 최적점으로 수렴하게 된다.
• GP로 부드럽게 처리한 PINNs는 2D 버거스 방정식에서 고노이즈(σ=0.5) 조건 하에서도 초기 조건을 성공적으로 복구하고 충격파의 구조를 유지하며, 표준 모델 및 cPINN 모델을 능가한다.
• 희소 GP 변형(SGP-PINN)은 전체 GP-PINN와 유사한 성능을 달성하면서도 훨씬 낮은 계산 비용을 기록하여 확장 가능한 불확실성 인식 PDE 해법을 가능하게 한다.
• GP 모델에서의 예측 분산은 신뢰할 수 있는 불확실성 측도를 제공하며, 날카로운 기울기 근처에서는 높은 분산이 관찰되어 예측 위험도가 높은 영역임을 나타낸다.
• 커널 선택과 유도 점 배치가 모델 성능에 결정적인 영향을 미치며, 균일한 샘플링은 날카로운 기울기를 부족하게 표현하고 충격면 근처에서 과도하게 부드럽게 만든다.