[논문 리뷰] Towards Optimally Weighted Physics-Informed Neural Networks in Ocean Modelling

Taco de Wolff, Hugo Carrillo외 2명|arXiv (Cornell University)|2021. 06. 16.

Model Reduction and Neural Networks참고 문헌 25인용 수 20

한 줄 요약

이 논문은 해양 모델링을 위한 물리 기반 신경망(PINNs)을 연구하며, 특히 데이터가 제한된 경우 일반화를 향상시키기 위해 데이터 손실 및 물리 손실 항목의 최적 가중치를 제안한다. 데이터가 적은 환경에서 물리 법칙을 통합함으로써 오차는 65% 감소하고 변동성은 56% 감소함을 발견하였으며, tanh 및 GELU 활성화 함수가 두阶 도함수 학습에 더 우수하여 ReLU보다 성능이 뛰어나다.

ABSTRACT

The carbon pump of the world's ocean plays a vital role in the biosphere and climate of the earth, urging improved understanding of the functions and influences of the ocean for climate change analyses. State-of-the-art techniques are required to develop models that can capture the complexity of ocean currents and temperature flows. This work explores the benefits of using physics-informed neural networks (PINNs) for solving partial differential equations related to ocean modeling; such as the Burgers, wave, and advection-diffusion equations. We explore the trade-offs of using data vs. physical models in PINNs for solving partial differential equations. PINNs account for the deviation from physical laws in order to improve learning and generalization. We observed how the relative weight between the data and physical model in the loss function influence training results, where small data sets benefit more from the added physics information.

연구 동기 및 목표

• 해양학적 PDE에 대한 PINNs에서 데이터 손실과 물리 손실 간의 최적 균형을 규명하기 위해.
• 학습 데이터가 부족한 상황에서 물리 기반 정규화가 모델 정확도와 안정성에 미치는 영향을 평가하기 위해.
• 활성화 함수, 깊이, 너비와 같은 신경망 하이퍼파rameter가 최적의 손실 가중치에 미치는 영향을 탐색하기 위해.
• 해양 모델링을 시험 케이스로 삼아 자동 PINN 파rameter화 프레임워크를 구축하기 위해.
• 낮은 데이터 시나리오에서 안정적인 훈련을 보장하는 안정적이고 최소한의 데이터 서브셋을 식별하기 위해.

제안 방법

• 데이터 적합성과 물리 기반 PDE 잔여항을 조합한 손실 함수를 제안하며, 두 항을 균형 잡는 학습 가능한 가중치 λ를 포함한다.
• 해양 유체 역학을 대표하는 세 가지 고전적 PDE인 버거스 방정식, 이동-확산 방정식, 파동 방정식에 PINNs를 적용한다.
• PDE 도함수 학습에 미치는 영향을 평가하기 위해 다양한 활성화 함수(tanh, GELU, ReLU 등)를 사용한다.
• 다양한 데이터셋 크기(N_u)와 무작위 데이터 서브셋 선택을 통해 복원력을 평가하기 위해 수치 실험을 수행한다.
• 네트워크 너비, 깊이, 활성화 함수가 최적의 λ에 미치는 영향을 분석하기 위해 하이퍼파rameter 스윕을 실시한다.
• 25회의 무작위 데이터 서브셋 시험에서 상대 오차와 표준편차를 분석하여 안정성과 성능을 정량화한다.

실험 결과

연구 질문

• RQ1 데이터 손실과 물리 손실 간의 상대적 가중치가 해양 관련 PDE를 해결하는 데 있어 PINN 성능에 어떻게 영향을 미치는가?
• RQ2 물리 기반 정규화가 특히 데이터가 제한된 상황에서 가장 효과적인 시나리오는 무엇인가?
• RQ3 어느 활성화 함수가 PINNs에서 두阶 이상 도함수 학습에 더 효과적인가?
• RQ4 네트워크 아키텍처 하이퍼파rameter(너비, 깊이, 활성화 함수)가 최적의 손실 가중치에 어떻게 영향을 미치는가?
• RQ5 낮은 데이터 환경에서 안정적인 훈련을 보장하는 안정적이고 최소한의 데이터 서브셋은 무엇인가?

주요 결과

• 물리 손실 항목을 추가함으로써 데이터가 적은 환경(N_u가 작은 경우)에서 평균 상대 오차는 65% 감소하고 오차의 표준편차는 56% 감소하였다.
• 최적의 손실 가중치 λ는 PDE에 따라 크게 달라졌다: 버거스 방정식에서는 λ = 0.1, 이동-확산 방정식에서는 λ = 0.5, 파동 방정식에서는 λ = 0.002였다.
• tanh 및 GELU 활성화 함수가 다른 것들보다 뛰어나 두阶 도함수 학습에서 특히 우수했으며, ReLU는 두阶 도함수가 0이거나 비연속점 외에는 항상 0이기 때문에 실패했다.
• 소프트시그니처와 CELU 함수도 x=0에서 두阶 도함수가 비연속적이기 때문에 성능이 열 劣했다.
• 물리 손실을 포함한 PINNs는 다양한 무작위 데이터 서브셋 선택에 걸쳐 훈련 안정성이 향상되고 분산이 감소하는 것으로 나타났다.
• 본 연구는 해양 모델링 맥락에서 특히 다양한 PDE와 하이퍼파rameter에 걸쳐 최적의 손실 가중치를 탐색한 것으로, 알려진 바 없는 첫 번째 연구이다.