[논문 리뷰] PCE-PINNs: Physics-Informed Neural Networks for Uncertainty Propagation in Ocean Modeling

Björn Lütjens, Catherine H. Crawford외 2명|arXiv (Cornell University)|2021. 05. 05.

Model Reduction and Neural Networks참고 문헌 29인용 수 6

한 줄 요약

이 논문은 다항혼합확장(PCE)과 딥러닝을 융합한 물리기반 신경망 프레임워크인 PCE-PINNs를 소개한다. 이는 해양 모델링에서 신속하고 정확한 불확실성 전파를 가능하게 한다. 신경망 서면을 통해 PCE 계수를 학습함으로써, 기존의 고해상도 모델 대비 15,000배 빠른 속도를 달성하면서도, 확률적 이동-확산 방정식에서 매개변수 불확실성을 정확히 정량화한다. 평균제곱오차는 0.0078이다.

ABSTRACT

Climate models project an uncertainty range of possible warming scenarios from 1.5 to 5 degree Celsius global temperature increase until 2100, according to the CMIP6 model ensemble. Climate risk management and infrastructure adaptation requires the accurate quantification of the uncertainties at the local level. Ensembles of high-resolution climate models could accurately quantify the uncertainties, but most physics-based climate models are computationally too expensive to run as ensemble. Recent works in physics-informed neural networks (PINNs) have combined deep learning and the physical sciences to learn up to 15k faster copies of climate submodels. However, the application of PINNs in climate modeling has so far been mostly limited to deterministic models. We leverage a novel method that combines polynomial chaos expansion (PCE), a classic technique for uncertainty propagation, with PINNs. The PCE-PINNs learn a fast surrogate model that is demonstrated for uncertainty propagation of known parameter uncertainties. We showcase the effectiveness in ocean modeling by using the local advection-diffusion equation.

연구 동기 및 목표

• 지역 기후의 불확실성 정량을 위해 고해상도 해양 모델의 대규모 앙상블 실행이 계산적으로 불가능한 문제를 해결하기 위해.
• 물리기반 신경망(PINNs)을 결정론적 예측을 넘어서, 알려진 매개변수 불확실성이 있는 확률적 시스템으로 확장하기 위해.
• 해양 열역학적 과정(예: 확률적 확산성에 따른 온도 분포)에서 신속하고 확장 가능한 불확실성 전파를 가능하게 하는 경량 서면 모델을 개발하기 위해.
• 해양역학의 핵심 모델인 확률적 국소 이동-확산 방정식(ADE)에 대해 본 방법의 효과성을 입증하기 위해.

제안 방법

• 방법은 다항혼합확장(PCE)과 물리기반 신경망(PINNs)을 융합하여, 확률적 편미분방정식의 해를 랜덤 변수에 대한 정규직교다항식의 급수로 표현한다.
• 신경망은 PCE의 시간 및 공간에 따라 변하는 계수를 학습함으로써, 몬테카를로 샘플링 없이도 통계적 모멘트(평균 및 표준편차)를 신속하게 평가할 수 있다.
• PCE-PINN는 정 governing 이동-확산 방정식 잔차를 최소화하고, 다수의 시공간 격자점 및 랜덤 샘플에서 경계 조건을 강제하는 손실 함수를 사용해 훈련된다.
• 랜덤 입력은 양의 확산성을 보장하기 위해 로그정규분포 변환을 적용한 가우시안 프로세스로 모델링되며, PCE는 최대 다항식 차수 2와 3개의 계수를 사용한다.
• 활성화 함수로 ReLU를 사용한 완전연결 신경망(2층, 128개 유닛)을 ADAM 옵timizer를 사용해 학습률 0.001로 15 에포크 동안 훈련한다.
• 서면 모델은 128×64 시공간 격자를 가진 100개의 미분방정식 해 샘플로 구성된 데이터셋을 사용해 검증되었으며, 약 133 kB의 컴act 모델 크기를 확보했다.

실험 결과

연구 질문

• RQ1 물리기반 신경망을 다항혼합확장과 효과적으로 융합하여 해양 모델링에서 신속한 불확실성 전파를 가능하게 할 수 있는가?
• RQ2 PCE-PINN 서면 모델은 고정밀 시뮬레이션과 비교해 확률적 이동-확산 방정식의 해에 대한 평균과 표준편차를 얼마나 정확히 재현하는가?
• RQ3 伝통적 앙상블 방법과 비교해 PCE-PINN 프레임워크의 계산 및 저장 효율성은 어떠한가?
• RQ4 특히 도메인 중심부와 같은 고변동성 영역에서, PCE-PINN는 시간과 공간에 따라 불확실성의 변화를 얼마나 잘 포착하는가?
• RQ5 이 방법은 알려진 매개변수 불확실성이 있는 다른 해양 또는 대기 과정으로 확장될 수 있는가?

주요 결과

• PCE-PINN는 확률적 이동-확산 방정식의 전체 시공간 해를 근사할 때 평균제곱오차(MSE)가 0.0078이었다.
• 예측된 평균과 표준편차는 목표 해와 매우 유사했으며, 특히 도메인 중심부(z=0.5)와 시간이 증가함에 따라 증가하는 불확실성 경향을 정확히 포착했다.
• 추가 샘플링 없이도 PCE 계수에서 직접 통계적 모멘트를 계산할 수 있었기에, 효율적인 불확실성 정량화가 가능했다.
• 초기 상태에서는 약간의 불확실성 과대평가가 있었고, 오른쪽 경계부근(z≈1)에서는 약간의 양의 편향이 있었으며, 초기 시간 단계에서는 곡률이 낮았다.
• 기존의 고해상도 시뮬레이션 대비 15,000배 빠른 속도를 달성했으며, 약 33,408개의 가중치를 포함해 총 저장 용량은 133 kB에 불과했다.
• 고차원 랜덤 공간에서 PCE 계수를 학습하는 데 신경망을 활용할 수 있음을 입증하며, 복잡한 해양 시스템에서 확장 가능한 불확실성 전파의 가능성을 보여주었다.