[논문 리뷰] Physics-guided Neural Networks (PGNN): An Application in Lake Temperature Modeling

Arka Daw, Anuj Karpatne외 3명|arXiv (Cornell University)|2017. 10. 31.

Hydrological Forecasting Using AI인용 수 316

한 줄 요약

이 논문은 Physics-guided Neural Networks (PGNN)을 도입하여 물리 기반 모델 출력과 신경망 및 물리 기반 손실 함수를 결합해 호수 온도를 예측합니다. PGNN은 순수 데이터 기반 또는 물리만 모델에 비해 일반화와 물리적 일관성을 향상시킵니다.

ABSTRACT

This paper introduces a framework for combining scientific knowledge of physics-based models with neural networks to advance scientific discovery. This framework, termed physics-guided neural networks (PGNN), leverages the output of physics-based model simulations along with observational features in a hybrid modeling setup to generate predictions using a neural network architecture. Further, this framework uses physics-based loss functions in the learning objective of neural networks to ensure that the model predictions not only show lower errors on the training set but are also scientifically consistent with the known physics on the unlabeled set. We illustrate the effectiveness of PGNN for the problem of lake temperature modeling, where physical relationships between the temperature, density, and depth of water are used to design a physics-based loss function. By using scientific knowledge to guide the construction and learning of neural networks, we are able to show that the proposed framework ensures better generalizability as well as scientific consistency of results. All the code and datasets used in this study have been made available on this link \url{https://github.com/arkadaw9/PGNN}.

연구 동기 및 목표

• 데이터가 제한된 환경에서 과학적 발견과 일반화를 향상시키기 위해 물리 기반 모델과 신경망의 결합을 고무한다.
• 하이브리드 하이브리드-물리-데이터 (HPD) 모델링 프레임워크를 제안하여 물리 출력을 특징으로 활용한다.
• 라벨링되지 않은 데이터에 물리 기반 손실을 도입하여 물리적 일관성을 강제하고 일반화를 향상시킨다.
• 온도-밀도-깊이 물리 관계를 포함시켜 호수 온도 모델링에 PGNN을 시演한다.

제안 방법

• 입력 드라이버와 함께 물리 기반 모델 출력(Y_PHY)을 특징으로 신경망에 입력하여 HPD 모델을 구성한다.
• 경험적 손실, 모델 복잡도 및 unlabeled data에서 계산 가능한 물리 기반 손실(Loss.PHY)을 결합한 학습 목표를 정의한다.
• 호수 온도에 대한 특정 물리 기반 방정식을 구성하며 Temperature–Density 및 Density–Depth 관계를 포함하여 Loss.PHY를 구축한다(Equation 3 and 14).
• 3-layer fully connected neural network를 사용하고 각 층당 12개 노드를 두며 AdaDelta, 배치 크기 1000, 조기 종료로 학습한다.
• Mille Lacs Lake와 Lake Mendota의 3000-샘플 학습 세트를 사용하여 PHY를 보정하고, unlabeled data에서 물리 기반 손실과 레이블이 있는 테스트 세트의 RMSE를 통해 평가한다.

실험 결과

연구 질문

• RQ1 물리 기반 모델이나 순수 데이터 기반 모델보다 더 낮은 RMSE를 달성하면서 물리적 일관성을 유지할 수 있는가?
• RQ2 물리 기반 손실의 도입이 unlabeled 데이터의 물리적 불일치를 줄이고 호수 간 일반화를 개선하는가?

주요 결과

• PGNN은 Mille Lacs Lake에서 PHY 및 블랙박스 모델보다 낮은 RMSE(0.73 RMSE)를 달성하고 물리적 불일치를 거의 제로에 가깝게 달성한다.
• PGNN은 Lake Mendota에서도 RMSE 1.79로 기본 방법을 능가하며 물리적 일관성을 유지한다.
• NN 및 PGNN0은 PHY보다 낮은 RMSE를 보이나 물리적 불일치가 높게 나타난다(시점의 >50%).
• 물리 가중치 하이퍼파라미터 lambda_PHY를 증가시키면 RMSE를 크게 해치지 않으면서 물리적 일관성이 개선된다.
• 물리-가이드 정규화로 인해 작은 학습 세트에서도 PGNN은 견고한 성능을 보인다.