[논문 리뷰] Correcting model misspecification in physics-informed neural networks (PINNs)

Zongren Zou, Xuhui Meng외 1명|arXiv (Cornell University)|2023. 10. 16.

Model Reduction and Neural Networks인용 수 4

한 줄 요약

이 논문은 물리 기반 신경망(PINNs)에서 모델 부정확성 문제를 보정하기 위해, 부정확한 물리 모델과 노이즈가 섞이거나 희소한 관측 데이터 사이의 차이를 학습하는 추가적인 딥 뉴럴 네트워크(DNN)를 도입하는 방법을 제안한다. 이 접근법은 물리적 이해가 불완전한 복잡한 시스템에서 예측 정확도를 향상시키며, B-PINNs 또는 앙상블 PINNs를 통한 불확실성 정량화를 통합하여 반응-확산 및 비뉴턴 유체 흐름 문제에서 상당한 오차 감소를 입증한다.

ABSTRACT

Data-driven discovery of governing equations in computational science has emerged as a new paradigm for obtaining accurate physical models and as a possible alternative to theoretical derivations. The recently developed physics-informed neural networks (PINNs) have also been employed to learn governing equations given data across diverse scientific disciplines. Despite the effectiveness of PINNs for discovering governing equations, the physical models encoded in PINNs may be misspecified in complex systems as some of the physical processes may not be fully understood, leading to the poor accuracy of PINN predictions. In this work, we present a general approach to correct the misspecified physical models in PINNs for discovering governing equations, given some sparse and/or noisy data. Specifically, we first encode the assumed physical models, which may be misspecified, then employ other deep neural networks (DNNs) to model the discrepancy between the imperfect models and the observational data. Due to the expressivity of DNNs, the proposed method is capable of reducing the computational errors caused by the model misspecification and thus enables the applications of PINNs in complex systems where the physical processes are not exactly known. Furthermore, we utilize the Bayesian PINNs (B-PINNs) and/or ensemble PINNs to quantify uncertainties arising from noisy and/or gappy data in the discovered governing equations. A series of numerical examples including non-Newtonian channel and cavity flows demonstrate that the added DNNs are capable of correcting the model misspecification in PINNs and thus reduce the discrepancy between the physical models and the observational data. We envision that the proposed approach will extend the applications of PINNs for discovering governing equations in problems where the physico-chemical or biological processes are not well understood.

연구 동기 및 목표

• 물리적 과정에 대한 이해가 불완전할 때 PINNs에서 모델 부정확성 문제를 해결하기 위해.
• 보조 DNN를 사용하여 불완전한 물리 모델과 관측 데이터 사이의 차이를 학습하여 PINNs의 예측 정확도를 향상시키기 위해.
• 발견된 운동 방정식에서 노이즈가 섞이고 빈약한 데이터로 인한 불확실성을 정량화하기 위해.
• 기호 회귀와의 조합을 통해 명시적인 운동 방정식을 발견할 수 있도록 하기 위해.
• 물리화학적 또는 생물학적 과정이 완전히 알려지지 않은 복잡한 시스템으로 PINNs의 적용 범위를 확장하기 위해.

제안 방법

• 자동 미분를 사용하여 가정된, 잠재적으로 부정확한 물리 모델을 PINNs에 통합하기.
• 불완전한 모델과 관측 데이터 사이의 차이를 모델링하기 위해 추가적인 DNN 도입하기.
• 모델 부정확성으로 인한 오차를 보정하기 위해, 차이 DNN를 포함한 PINN 훈련하기.
• 노이즈가 섞이거나 완전하지 않은 데이터로 인한 예측의 불확실성 정량화를 위해 베이지안 PINNs(B-PINNs) 또는 앙상블 PINNs 활용하기.
• 훈련된 모델과 기호 회귀를 조합하여 명시적인 운동 방정식 추출하기.
• 알려진 모델 부정확성이 있는 반응-확산 시스템과 비뉴턴 유체 흐름에 프레임워크 적용하기.

실험 결과

연구 질문

• RQ1 기본 물리 모델이 불완전하거나 부정확할 경우, 딥 뉴럴 네트워크가 PINNs의 모델 부정확성을 효과적으로 보정할 수 있는가?
• RQ2 차이 DNN의 포함이 알려진 모델 오류가 있는 시스템에서 PINN 예측 정확도를 얼마나 향상시키는가?
• RQ3 B-PINNs 또는 앙상블 PINNs는 노이즈가 섞이고 빈약한 데이터 하에서 발견된 물리 모델의 불확실성을 얼마나 신뢰성 있게 정량화할 수 있는가?
• RQ4 제안된 방법이 기호 회귀와 원활하게 통합되어 해석 가능한 운동 방정식을 유도할 수 있는가?
• RQ5 이 방법은 점성 모델이 잘못 설정된 비뉴턴 유체 흐름과 같은 복잡한 물리 시스템에서도 강건성과 정확도를 유지하는가?

주요 결과

• 비뉴턴 캐비티 유동 케이스에서 속도 예측의 상대 L2 오차가 각각 7.79%에서 1.33%로, 11.28%에서 2.29%로 감소하였다.
• 힘 성분(fx 및 fy)의 오차는 각각 3.9153×10⁻⁴에서 7.8389×10⁻⁷로, 3.1466×10⁻⁴에서 8.2283×10⁻⁷로 감소하여 상당한 향상이 있었다.
• 차이 DNN는 모델링되지 않은 물리 현상을 효과적으로 포착하여, 초기 물리 모델이 잘못 설정되어 있더라도 정확한 예측을 가능하게 하였다.
• B-PINNs와 앙상블 PINNs는 데이터 노이즈와 빈약함으로 인한 모델 불확실성을 반영한 합리적인 불확실성 구간을 제공하였다.
• 훈련 후 기호 회귀를 통해 명시적인 운동 방정식을 성공적으로 추출하여 해석 가능성 향상이 이루어졌다.
• 반응-확산 및 비뉴턴 유체 흐름과 같은 다양한 시스템에서 물리 모델이 의 intensionally misspecified 되어 있음에도 불구하고, 이 방법은 강건한 성능을 보였다.