[논문 리뷰] Physics Guided RNNs for Modeling Dynamical Systems: A Case Study in Simulating Lake Temperature Profiles

Xiaowei Jia, Jared Willard외 5명|arXiv (Cornell University)|2018. 10. 31.

Hydrological Forecasting Using AI참고 문헌 20인용 수 13

한 줄 요약

이 논문은 물리 법칙—특히 에너지 보존 법칙—을 RNN 아키텍처에 통합하여 lakе 수온 동역학을 더 정확하게 모델링할 수 있도록 하는 물리학 기반 순환 신경망(PGRNN)을 제안한다. 데이터 기반 학습과 물리 기반 정규화를 결합함으로써, 순수 물리 모델보다 높은 정확도, 표준 RNN보다 더 높은 물리적 일관성, 특히 관측 데이터가 제한된 경우에 더 나은 일반화 성능을 달성한다. 이는 물리 기반 시뮬레이션 데이터를 사전 훈련하여 달성된다.

ABSTRACT

This paper proposes a physics-guided recurrent neural network model (PGRNN) that combines RNNs and physics-based models to leverage their complementary strengths and improve the modeling of physical processes. Specifically, we show that a PGRNN can improve prediction accuracy over that of physical models, while generating outputs consistent with physical laws, and achieving good generalizability. Standard RNNs, even when producing superior prediction accuracy, often produce physically inconsistent results and lack generalizability. We further enhance this approach by using a pre-training method that leverages the simulated data from a physics-based model to address the scarcity of observed data. The PGRNN has the flexibility to incorporate additional physical constraints and we incorporate a density-depth relationship. Both enhancements further improve PGRNN performance. Although we present and evaluate this methodology in the context of modeling the dynamics of temperature in lakes, it is applicable more widely to a range of scientific and engineering disciplines where mechanistic (also known as process-based) models are used, e.g., power engineering, climate science, materials science, computational chemistry, and biomedicine.

연구 동기 및 목표

• 완전한 지식이나 계산 제약으로 인해 부족한 지식이나 모델 근사으로 인해 매개변수 불확실성과 모델 오류를 겪는 순수 물리 기반 모델의 한계를 해결하기 위해.
• 일반적으로 물리 법칙을 위반하고 훈련 데이터 외부로 일반화하지 못하는 블랙박스 기계학습 모델의 단점을 극복하기 위해.
• 물리 기반 모델과 딥러닝의 장점을 접목하여 정확도와 물리적 일관성을 향상시킬 수 있는 하이브리드 모델링 프레임워크를 개발하기 위해.
• 실제 관측 데이터가 부족한 상황에서 실질적 데이터 효율성을 향상시키기 위해 물리 모델에서 생성한 시뮬레이션 데이터를 활용한 사전 훈련을 통해 데이터 효율성을 높이기 위해.
• 레이크 수온 모델링을 넘어 동역학 시스템을 포함한 다양한 과학 및 공학 분야로의 일반화 가능성을 입증하기 위해.

제안 방법

• PGRNN 모델은 관측 데이터로부터 시간적 의존성을 학습하는 데 사용되는 RNN 스트림과 물리 기반 손실 함수를 통해 에너지 보존을 강제하는 두 번째 스트림을 갖는다.
• 물리 기반 손실 함수는 에너지 균형에서의 이탈을 방지함으로써 모델을 정규화하여 물리적으로 타당한 시간적 궤적을 보장한다.
• 실제 데이터가 제한된 경우 성능 향상을 위해 물리 기반 레이크 모델(GLM)에서 생성한 시뮬레이션 데이터를 사용해 사전 훈련한다.
• 모델 아키텍처는 표준 RNN을 통한 데이터 피팅과 시간에 걸쳐 에너지 보존을 강제하는 에너지 흐름을 포함하는 이중 순환 흐름을 구현한다.
• 질량 보존과 같은 다른 물리 법칙으로도 일반화 가능하여 영양염 순환 또는 작물 모델링과 같은 다양한 시스템에 적용할 수 있다.
• 도메인 특화 물리 제약을 통합할 수 있어 과학적 응용에서 해석 가능성과 신뢰성을 향상시킨다.

실험 결과

연구 질문

• RQ1 RNN과 물리 기반 제약을 융합한 하이브리드 모델이 전통적인 물리 모델보다 레이크 수온 시뮬레이션에서 예측 정확도를 향상시킬 수 있는가?
• RQ2 제한된 데이터로 훈련된 경우에도 이러한 모델이 에너지 보존과 같은 기본 물리 법칙을 준수하는 물리적으로 일관된 출력을 생성할 수 있는가?
• RQ3 물리 기반 시뮬레이션 데이터를 사용한 사전 훈련이 모델의 성능과 새로운 조건으로의 일반화 능력에 어떤 영향을 미치는가?
• RQ4 PGRNN 프레임워크가 레이크 수온 모델링을 넘어 다른 동역학 시스템으로 얼마나 일반화될 수 있는가?
• RQ5 정확도와 물리적 타당성 측면에서 표준 블랙박스 RNN보다 모델이 뛰어난 성능을 보일 수 있는가?

주요 결과

• PGRNN는 관측된 레이크 수온 데이터에서 기준 물리 모델(GLM)보다 더 높은 예측 정확도를 달성하여 데이터 기반 정교화의 유용성을 입증한다.
• 에너지 보존을 강제함으로써 물리적으로 일관된 출력을 생성하여 표준 RNN에서 흔히 발생하는 물리적으로 비현실적인 진동을 방지한다.
• GLM에서 생성한 시뮬레이션 데이터를 사용한 사전 훈련은 실제 데이터가 부족한 상황에서 성능 향상에 크게 기여하여 데이터 효율성을 향상시킨다.
• 실제로 물리적 제약이 없는 표준 RNN과는 달리, PGRNN는 새로운 기후 조건으로의 일반화 능력이 뛰어나, 외삽에 성공한다.
• 이중 스트림 아키텍처는 복잡한 시간적 패턴을 학습하면서도 물리적 정확성을 유지할 수 있게 하여 순수 기계학습 모델과 순수 물리 모델을 모두 능가한다.
• 질량 보존과 같은 다른 물리 법칙으로도 확장 가능하여 환경 및 공학 시스템에서 넓은 응용 가능성을 제공한다.