[논문 리뷰] Physics Guided Recurrent Neural Networks For Modeling Dynamical Systems: Application to Monitoring Water Temperature And Quality In Lakes

Xiaowei Jia, Anuj Karpatne외 6명|arXiv (Cornell University)|2018. 10. 05.

Hydrological Forecasting Using AI참고 문헌 2인용 수 34

한 줄 요약

이 논문은 레이크 수온 및 인 동역학 모델링에서 예측 정확도와 과학적 일관성을 향상시키기 위해 밀도-깊이 관계 및 에너지 보존과 같은 물리적 제약 조건을 LSTM 모델에 통합한 물리 기반 순환 신경망(PGRNN)을 제안한다. 물리 기반 모델 출력을 통합하고, 맞춤형 손실 함수를 통해 물리 법칙을 강제함으로써 PGRNN은 표준 RNN 및 물리 모델만을 사용한 경우보다 뚜렷한 개선을 이루었으며, 특히 누락된 데이터 처리 및 물리적 타당성 유지 측면에서 뛰어난 성능을 보였다.

ABSTRACT

In this paper, we introduce a novel framework for combining scientific knowledge within physics-based models and recurrent neural networks to advance scientific discovery in many dynamical systems. We will first describe the use of outputs from physics-based models in learning a hybrid-physics-data model. Then, we further incorporate physical knowledge in real-world dynamical systems as additional constraints for training recurrent neural networks. We will apply this approach on modeling lake temperature and quality where we take into account the physical constraints along both the depth dimension and time dimension. By using scientific knowledge to guide the construction and learning the data-driven model, we demonstrate that this method can achieve better prediction accuracy as well as scientific consistency of results.

연구 동기 및 목표

• 순수한 데이터 기반 기계학습 모델이 과학적 응용에서 해석 가능성과 물리적 일관성이 결여되어 있는 한계를 해결하기 위해.
• 물리 기반 모델이 물리적 표현이 불완전하여 정확도가 떨어질 수 있는 단점을 극복하기 위해.
• 물리 지식과 데이터 기반 학습을 유기적으로 융합하여 정확도와 과학적 타당성을 향상시키는 하이브리드 모델링 프레임워크를 개발하기 위해.
• 학습 중에 물리 기반 모델 출력을 사전 정보로 활용하여 자료가 부족한 환경에서도 안정적인 예측을 가능하게 하기 위해.
• 밀도-깊이 단조성 및 에너지 보존과 같은 물리 법칙을 손실 함수에 직접 통합하여 물리적으로 타당한 예측을 보장하기 위해.

제안 방법

• PGRNN 프레임워크는 물리 기반 모델(예: GLM)의 출력을 입력 특징으로 사용하여 RNN를 안내함으로써 물리적 사전 지식과 데이터 기반 학습을 융합한다.
• 하이브리드 모델은 물리 기반 모델 출력(Y_phy)을 활용하여 관측 누락 시 예측을 보완하고 시간적 연속성을 확보한다.
• 밀도-깊이 관계나 시간에 따른 에너지 불균형과 같은 물리 제약 위반을 방지하기 위해 비표준 손실 함수를 설계한다.
• 밀도-깊이 제약 조건은 온도에 대한 물리적 수식을 활용해 예측된 수온에서 밀도가 깊이에 따라 단조롭게 증가하도록 강제한다.
• 에너지 보존 제약 조건은 체적 평균 레이크 수온의 변화가 들어오는 복사 에너지와 방출되는 열 에너지의 순합계와 일치하도록 보장한다.
• 시간적 의존성에 주목하기 위해 주의 메커니즘을 통합한 수정된 LSTM 아키텍처를 사용하며, 물리 제약 조건을 통합해 일반화 능력과 안정성을 향상시킨다.

실험 결과

연구 질문

• RQ1 물리 기반 모델 출력을 순환 신경망에 통합함으로써 레이크 수온 및 수질 예측 정확도를 향상시킬 수 있는가?
• RQ2 밀도-깊이 단조성과 같은 물리 제약 조건을 신경망 학습 과정에 어떻게 통합하여 물리적 일관성을 향상시킬 수 있는가?
• RQ3 레이크 수온의 시간적 변화 과정에서 에너지 보존을 강제로 적용할 경우, 얼마나 예측 신뢰도와 매끄러움이 향상되는가?
• RQ4 PGRNN은 자료가 희박한 환경에서 순수 물리 모델과 표준 RNN보다 RMSE와 물리적 타당성 측면에서 뛰어나게 성능을 발휘할 수 있는가?
• RQ5 물리 기반 손실 함수를 사용할 경우 과학적 동역학 시스템 모델링에서 잘못된 발견을 줄이고 해석 가능성을 향상시킬 수 있는가?

주요 결과

• PGRNN는 멘도타 호에서 표면 인 농도 예측의 RMSE를 0.0237로 낮춰 물리 모델 전용(0.0266)과 표준 RNN(0.0247)을 모두 뛰어넘었다.
• 밀도-깊이 제약 조건을 적용한 PGRNN는 물리적 일관성 어긋남 점수를 0.0732로 나타내어 PGRNN0(0.1798)보다 유의미하게 낮게 유지해 물리적 일관성 향상을 입증했다.
• 에너지 보존 제약 조건을 통합함으로써 열층 깊이의 시간적 변화가 더욱 매끄럽고 현실적으로 표현되었으며, 그림 3에서 확인할 수 있었다.
• PGRNN는 레이크 수온 예측에서 RMSE 1.4791을 기록하여 RNN(1.6042)과 ANN(1.8830)을 모두 뛰어넘었으며, 물리적 일관성도 감소시켰다.
• 물리 기반 모델 출력을 가짜 데이터로 활용하여 관측 누락을 효과적으로 처리했으며, 학습을 위한 완전한 시간적 궤적을 유지했다.
• 손실 함수에 물리 법칙을 통합함으로써 예측 정확도 뿐 아니라 과학적으로 타당한 결과를 도출했으며, 특히 열층 역학과 수직 밀도 프로파일을 잘 포착하는 데 기여했다.