[논문 리뷰] Physics-Guided Machine Learning for Scientific Discovery: An Application in Simulating Lake Temperature Profiles

Xiaowei Jia, Jared Willard외 5명|arXiv (Cornell University)|2020. 01. 28.

Model Reduction and Neural Networks참고 문헌 39인용 수 41

한 줄 요약

논문은 Energy 보존과 물리 기반 모델을 LSTM과 통합한 Physics-Guided Recurrent Neural Networks (PGRNN)을 제안하여 호수 온도를 예측하고, 데이터가 제한된 상황에서도 정확도를 높이고 물리적 일관성을 보장한다.

ABSTRACT

Physics-based models of dynamical systems are often used to study engineering and environmental systems. Despite their extensive use, these models have several well-known limitations due to simplified representations of the physical processes being modeled or challenges in selecting appropriate parameters. While-state-of-the-art machine learning models can sometimes outperform physics-based models given ample amount of training data, they can produce results that are physically inconsistent. This paper proposes a physics-guided recurrent neural network model (PGRNN) that combines RNNs and physics-based models to leverage their complementary strengths and improves the modeling of physical processes. Specifically, we show that a PGRNN can improve prediction accuracy over that of physics-based models, while generating outputs consistent with physical laws. An important aspect of our PGRNN approach lies in its ability to incorporate the knowledge encoded in physics-based models. This allows training the PGRNN model using very few true observed data while also ensuring high prediction accuracy. Although we present and evaluate this methodology in the context of modeling the dynamics of temperature in lakes, it is applicable more widely to a range of scientific and engineering disciplines where physics-based (also known as mechanistic) models are used, e.g., climate science, materials science, computational chemistry, and biomedicine.

연구 동기 및 목표

• 물리 기반 모델과 머신러닝을 결합하여 공학/환경 시스템의 모델링 개선을 추진한다.
• 순수 물리 기반 모델의 편향성 및 매개변수 보정의 한계와 순수 블랙박스 ML의 물리 불일치 및 데이터 필요성 문제를 다룬다.
• 물리 법칙을 보존하면서 데이터 기반 학습을 활용하여 깊이와 시간에 걸친 호수 온도를 예측하는 프레임워크(PGRNN)를 개발한다.
• 물리적 현실감을 주입하기 위한 GLM 출력으로의 물리 기반 사전 학습을 통해 데이터 효율적인 학습을 입증한다.
• 호수 Mendota를 대상으로 제시 방법의 예측 정확도와 물리적 일관성을 평가한다.

제안 방법

• 깊이에 따른 매일의 호수 온도 다이내믹스를 전역 모델로 다루는 LSTM 기반 RNN을 사용한다.
• 예상 온도와 실측 간의 차를 줄이면서 에너지 흐름 제약을 도입해 에너지 흐름과 호수 에너지 간의 관계를 연결하고, 손실에 물리 기반 페널티를 추가한다: L = L_RNN + lambda_EC * L_EC.
• 얼음이 없는 기간 동안 Delta U_t ≈ F_in − F_out를 보장하기 위해 온도에서 층 면적, 밀도, 두께를 이용해 호수 열에너지 U_t를 계산하고 ReLU 기반의 임계치 tau_EC를 갖는 페널티를 적용한다.
• PGRNN을 일반적인 GLM으로 생성된 합성 데이터로 사전 학습시켜 물리적 현실감을 주입하고 초기화를 개선한 뒤, 제한된 관측치를 사용해 미세 조정한다.
• 학습 데이터 비율에 따라 데이터 효율성을 테스트하고 GLM 및 표준 RNN 기반선과 비교한다.
• 21개의 은닉 유닛, 0.5 m 깊이 이산화 및 특정 하이퍼파라미터( tau_EC = 24 W/m^2, lambda_EC = 0.01, 학습률 0.005 )를 사용하여 Lake Mendota에서 구현 및 평가한다.

실험 결과

연구 질문

• RQ1 물리 가이드형 RNN이 데이터가 부족한 상황에서 전통적인 물리 기반 모델 및 순수 ML보다 호수 온도 예측을 개선할 수 있는가?
• RQ2 RNN 내에서 에너지 보존을 강제하는 것이 물리적 일관성을 개선하지만 정확도를 희생하지 않는가?
• RQ3 합성 물리 기반 시뮬레이션으로 사전 학습하면 정확한 예측을 위한 데이터 요구를 줄일 수 있는가?
• RQ4 PGRNN이 호수 시스템의 깊이와 계절에 대해 얼마나 잘 일반화되는가?
• RQ5 이 접근법이 호수 온도를 넘어 다른 물리 주도 도메인에 적용 가능한가?

주요 결과

Method	0%	0.2%	2%	20%	100%
GLM	2.950( ± NA )	2.616( ± 0.499 )	2.422( ± 0.423 )	2.318( ± 0.368 )	1.836( ± NA )
RNN	-	4.615( ± 0.173 )	2.311( ± 0.240 )	1.531( ± 0.083 )	1.489( ± 0.091 )
RNN EC	-	4.107( ± 0.181 )	2.149( ± 0.163 )	1.489( ± 0.115 )	1.471( ± 0.077 )

• PGRNN(에너지 보존이 포함된 RNN)은 일반적으로 평범한 RNN보다 우수하며, 특히 관측 데이터가 제한적일 때 더욱 그렇다.
• 관측 데이터가 20%에 불과하더라도 RGRNN EC는 100% 데이터로 보정된 GLM과 비교해 RMSE가 같거나 더 나으며, 20% RNN EC는 완전히 보정된 GLM보다 성능이 우수하다.
• 에너지 일관성 학습은 GLM 및 일반 RNN에 비해 에너지 플럭스 균형과 호수 에너지 변화 간의 불일치를 줄여준다.
• 합성 GLM 데이터를 이용한 사전 학습은 실제 관측이 매우 적은 경우에도 높은 정확도를 가능하게 하며, 최적 해에 가까운 가중치 초기화를 돕는다.
• 에너지 보존 항은 물리적 타당성과 일반화를 향상시키며, 이 접근은 유사 지도 학습 데이터에서도 학습 가능하다(플로우 계산에 대한 라벨이 필요 없음).
• Lake Mendota에 대한 실험은 깊이 의존적 온도 다이내믹스와 계절적 패턴을 포착함을 보여주며, 실용적 타당성을 입증한다.