[논문 리뷰] Physics-informed Neural Networks with Unknown Measurement Noise

Philipp Pilar, Niklas Wahlström|arXiv (Cornell University)|2022. 11. 28.

Model Reduction and Neural Networks인용 수 4

한 줄 요약

이 논문은 비정규 분포이거나 평균이 0이 아닌 측정 노이즈 분포를 학습하기 위해 에너지 기반 모델(EBM)을 통합한 물리 기반 신경망(PINN) 프레임워크인 PINN-EBM을 제안한다. 이는 비이상적인 데이터 조건 하에서도 강력한 PDE 해와 매개변수 식별을 가능하게 한다. 노이즈가 비정규 분포이거나 평균이 0이 아닐 경우, 기존 PINN보다 정확도와 노이즈 분포 복원 능력에서 뚜렷한 성능 향상을 보인다.

ABSTRACT

Physics-informed neural networks (PINNs) constitute a flexible approach to both finding solutions and identifying parameters of partial differential equations. Most works on the topic assume noiseless data, or data contaminated with weak Gaussian noise. We show that the standard PINN framework breaks down in case of non-Gaussian noise. We give a way of resolving this fundamental issue and we propose to jointly train an energy-based model (EBM) to learn the correct noise distribution. We illustrate the improved performance of our approach using multiple examples.

연구 동기 및 목표

• 비정규 또는 평균이 0이 아닌 측정 노이즈가 있는 데이터로 훈련할 경우 기존 물리 기반 신경망(PINN)의 실패 원인을 해결한다.
• 비정규 노이즈 하에서 PINN의 최소 제곱 손실이 가지는 한계를 극복하여 편향된 매개변수 추정과 낮은 일반화 성능을 방지한다.
• 노이즈 측정값에서 PDE 해, 매개변수, 진짜 노이즈 확률 밀도 함수(PDF)를 동시에 학습하는 공동 훈련 프레임워크를 개발한다.
• 복잡하고 비대칭적이거나 체계적인 편향을 포함하는 측정 노이즈가 존재하는 실세계 시나리오에서의 시스템 식별을 가능하게 한다.
• 예측 성능 향상뿐 아니라, 데이터 수집 과정에서 이전에 발견되지 않았던 체계적 오차를 드러내는 방법을 제공한다.

제안 방법

• 예측값과 노이즈 있는 관측값 간 잔차로부터 직접 알려지지 않은 측정 노이즈 분포를 모델링하기 위해 PINN 프레임워크에 에너지 기반 모델(EBM)을 통합한다.
• EBM을 사용해 측정 잔차의 가능도를 추정하며, 이는 기존 PINN에서 사용하는 표준 최소 제곱 데이터 손실을 더 강력한 가능도 기반 손실로 대체한다.
• PDE 잔차 손실과 EBM 기반 데이터 가능도 손실을 조합한 총 손실을 기반으로 PINN와 EBM를 백프로파게이션을 통해 공동으로 훈련한다.
• 총 손실을 물리 기반 PDE 손실과 EBM로 학습된 노이즈 분포 하에서의 측정값에 대한 음의 로그 가능도(NLL)의 가중합으로 수식화한다.
• EBM이 무거운 尾, 비대칭성, 다중모달성과 같은 복잡한 노이즈 특성을 포착할 수 있도록 하며, 다중 센서 편향이 존재하는 경우도 포함한다.
• PDE 손실과 데이터 손실 간의 가중치 하이퍼파rameter(ω)를 검증 데이터를 사용해 조정하여 최적화의 균형을 확보한다.

실험 결과

연구 질문

• RQ1 측정값이 비정규 노이즈에 의해 오염되었을 경우, 기존 PINN는 신뢰성 있게 PDE 매개변수를 식별할 수 있는가?
• RQ2 비정규 노이즈 하에서 PINN의 성능은 정규 노이즈에 비해 어떻게 악화되는가? 그리고 그 원인은 무엇인가?
• RQ3 알 수 없는 비정규 노이즈 하에서, 에너지 기반 모델(EBM)이 PINN 환경에서 잔차로부터 진짜 노이즈 분포를 효과적으로 학습할 수 있는가?
• RQ4 PINN와 EBM를 공동으로 훈련하는 것이 기존 PINN나 고정된 노이즈 가정을 한 PINN보다 매개변수 추정 및 해 정확도를 향상시키는가?
• RQ5 EBM 구성요소는 병합된 센서 읽기에서 발생하는 것처럼 여러 노이즈 원인이나 체계적 편향을 탐지할 수 있는가?

주요 결과

• 기존 PINN 프레임워크는 최소 제곱 손실을 사용함으로써 비정규 노이즈, 특히 평균이 0이 아니거나 꼬리가 두꺼운 경우에 실패한다.
• 나비에-스토크스 방정식의 경우, PINN-EBM는 표준 PINN 및 PINN-off보다 매개변수 복원에서 뚜렷한 성능 향상을 보이며, 100|Δλ₁|에서 λ₁의 오차를 약 20배 감소시켜 23.10에서 1.19로 줄였다.
• 3G 노이즈 조건 하에서 나비에-스토크스 방정식의 경우, PINN-EBM는 0.06의 RMSE를 기록했고, 표준 PINN는 0.20을 기록하여 해 정확도가 뛰어나다는 것을 보였다.
• 검증 데이터에서 NLL은 PINN-EBM가 -0.03, 표준 PINN는 0.40이었으며, EBM가 더 정확한 노이즈 모델을 학습했다는 것을 시사한다.
• 이 방법은 진짜 다중모달 노이즈 분포(예: 두 개의 피크를 가진 정규분포 혼합)를 성공적으로 학습했으며, 고장난 센서에서 유래한 편향 성분까지 포괄했다.
• EBM 구성요소는 이전에 인식되지 않았던 체계적 오차를 탐지할 수 있었으며, 예를 들어 센서 편향을 나타내는 노이즈 PDF의 두 번째 피크를 식별했다.