[논문 리뷰] Robust Learning of Physics Informed Neural Networks.

Chandrajit Bajaj, Luke McLennan외 2명|arXiv (Cornell University)|2021. 10. 26.

Model Reduction and Neural Networks참고 문헌 40인용 수 7

한 줄 요약

이 논문은 시간에 따라 변화하는 슈뢰딩거 방정식과 버거스 방정식에서 표준 PINN보다 뛰어난 성능을 발휘하는 노이즈에 강한 로버스트한 물리 기반 신경망(PINN) 프레임워크를 제안한다. 이는 노이즈가 있는 학습 데이터에 대한 민감도를 줄이고 과적합을 방지하기 위해 가우시안 프로세스(GP) 기반 스무딩을 사용한다. GP 분산 추정과 희소 유도점(sparse inducing points)을 통합함으로써 일반화 능력 향상, 국소 최소값 수렴 방지, 우수한 성능 달성에 기여한다.

ABSTRACT

Physics-informed Neural Networks (PINNs) have been shown to be effective in solving partial differential equations by capturing the physics induced constraints as a part of the training loss function. This paper shows that a PINN can be sensitive to errors in training data and overfit itself in dynamically propagating these errors over the domain of the solution of the PDE. It also shows how physical regularizations based on continuity criteria and conservation laws fail to address this issue and rather introduce problems of their own causing the deep network to converge to a physics-obeying local minimum instead of the global minimum. We introduce Gaussian Process (GP) based smoothing that recovers the performance of a PINN and promises a robust architecture against noise/errors in measurements. Additionally, we illustrate an inexpensive method of quantifying the evolution of uncertainty based on the variance estimation of GPs on boundary data. Robust PINN performance is also shown to be achievable by choice of sparse sets of inducing points based on sparsely induced GPs. We demonstrate the performance of our proposed methods and compare the results from existing benchmark models in literature for time-dependent Schr\odinger and Burgers' equations.

연구 동기 및 목표

• 부정확하거나 노이즈가 있는 학습 데이터에 민감한 PINN의 부분미분방정식(PDE) 해법 문제를 해결하기 위해.
• 연속성 및 보존 법칙과 같은 물리적 정규화가 왜 PINN이 전역 해가 아닌 국소 최소값으로 수렴하게 하는지 조사하기 위해.
• 가우시안 프로세스 기반 스무딩을 사용하여 노이즈가 있는 데이터 상황에서도 정확성과 일반화 능력을 유지하는 로버스트한 PINN 아키텍처 개발하기 위해.
• GP 분산 추정을 통한 경계 데이터의 효율적 불확실성 정량화를 가능하게 하기 위해.
• 희소 유도점을 통해 계산 비용을 줄이면서도 성능을 유지할 수 있는지의 정도를 평가하기 위해.

제안 방법

• 노이즈가 있는 학습 데이터를 스무딩하고 PINN 손실 함수를 정규화하기 위해 가우시안 프로세스(GP) 회귀를 적용하여 측정 오차에 대한 과적합을 줄인다.
• GP 분산 추정을 사용하여 솔루션 영역 전반에 걸친 불확실성 전파를 정량화하고, 경계 데이터에 대한 신뢰할 수 있는 불확실성 측정을 제공한다.
• GP 기반 스무딩을 PINN 학습 목표에 통합하여 물리적 제약 조건을 강제로 유지하면서도 데이터 노이즈에 대한 강건성을 향상시킨다.
• GP의 계산 복잡도를 줄이기 위해 희소 유도점을 도입하여 대규모 영역에서의 확장 가능한 학습을 가능하게 한다.
• PINN 물리 제약 조건과 GP 정규화된 데이터 적합성 항을 조합한 하이브리드 손실 함수를 제안하여 정확성과 강건성의 균형을 이룬다.
• 확률적 경사 하강법을 사용하여 병합된 손실을 최적화하고, 불확실성 인식 정규화를 통해 노이즈가 있는 데이터 포인트에 대한 과적합을 방지한다.

실험 결과

연구 질문

• RQ1 노이즈가 있는 데이터가 표준 PINN의 일반화 및 수렴 행동에 어떤 영향을 미치는가?
• RQ2 연속성 및 보존 법칙과 같은 물리적 정규화가 왜 PINN의 강건성을 향상시키지 못하고 오히려 국소 최소값 수렴을 유도하는가?
• RQ3 가우시안 프로세스 기반 스무딩이 노이즈가 있는 학습 데이터의 PINN 성능에 미치는 영향을 효과적으로 줄일 수 있는가?
• RQ4 GP 분산 추정을 사용하여 PINN 학습 중 경계 데이터의 불확실성을 효율적으로 정량화할 수 있는가?
• RQ5 GP 근사에서 희소 유도점이 계산 비용을 줄이면서도 성능을 유지할 수 있는 정도는 어느 정도인가?

주요 결과

• 제안된 GP 기반 스무딩은 노이즈가 있는 학습 데이터에 대한 PINN의 강건성을 크게 향상시켜 과적합을 줄이고 시간에 따라 변화하는 PDE에서 일반화 능력을 향상시킨다.
• 연속성 및 보존 법칙과 같은 물리적 정규화는 국소 최소값 수렴을 방지하지 못하고, 특히 노이즈가 있는 상황에서는 성능을 떨어뜨릴 수 있다.
• GP 분산 추정은 경계 데이터의 불확실성 전파를 정확하고 저비용으로 정량화할 수 있게 하여 불확실성 인식 학습을 지원한다.
• GP 프레임워크 내 희소 유도점은 계산 비용을 줄이면서도 높은 성능을 유지하여 대규모 영역에서의 확장 가능한 구현을 가능하게 한다.
• 제안된 로버스트한 PINN은 시간에 따라 변화하는 슈뢰딩거 방정식과 버거스 방정식에서 표준 PINN과 벤치마크 모델보다 뛰어난 성능을 보이며, 특히 노이즈 조건 하에서 뛰어난 성능을 발휘한다.
• 엄격한 물리 제약 조건으로 인해 발생하는 위조 물리 법칙을 따르는 국소 최소값을 피함으로써 전역 최소값으로의 수렴이 향상된다.