[논문 리뷰] Physics-Guided Recurrent Graph Networks for Predicting Flow and Temperature in River Networks

Xiaowei Jia, Jacob A. Zwart외 9명|arXiv (Cornell University)|2020. 09. 26.

Hydrological Forecasting Using AI참고 문헌 23인용 수 8

한 줄 요약

이 논문은 유량과 수온 예측을 위해 물리기반 시뮬레이션과 그래프 신경망을 통합한 하이브리드 기계학습 모델인 물리지향 순환 그래프 신경망(PGRGrN)을 제안한다. 사전 훈련을 통해 물리모델의 지식을 전이하고, 성능을 세그먼트 간 균형 있게 유지하기 위해 대조 손실 함수를 도입함으로써, 관측 데이터의 0.1%만을 사용해도 상태기반 물리모델 대비 수온 예측에서 33%, 유량 예측에서 14% 향상된 성능을 달성한다.

ABSTRACT

This paper proposes a physics-guided machine learning approach that combines advanced machine learning models and physics-based models to improve the prediction of water flow and temperature in river networks. We first build a recurrent graph network model to capture the interactions among multiple segments in the river network. Then we present a pre-training technique which transfers knowledge from physics-based models to initialize the machine learning model and learn the physics of streamflow and thermodynamics. We also propose a new loss function that balances the performance over different river segments. We demonstrate the effectiveness of the proposed method in predicting temperature and streamflow in a subset of the Delaware River Basin. In particular, we show that the proposed method brings a 33\%/14\% improvement over the state-of-the-art physics-based model and 24\%/14\% over traditional machine learning models (e.g., Long-Short Term Memory Neural Network) in temperature/streamflow prediction using very sparse (0.1\%) observation data for training. The proposed method has also been shown to produce better performance when generalized to different seasons or river segments with different streamflow ranges.

연구 동기 및 목표

• 희소 관측 데이터와 복잡한 물리적 상호작용을 가진 강 네트워크에서 유량과 수온을 예측하는 데 도전하는 것.
• 관측되지 않았거나 모니터링이 부족한 강 세그먼트로의 일반화에 실패하는 순수 데이터 기반 기계학습 모델의 한계를 극복하는 것.
• 물리기반 시뮬레이션을 기계학습 프레임워크에 통합하여 저자료 환경에서의 일반화 및 내구성을 향상시키는 것.
• 각 세그먼트를 별도로 모델링하는 대신, 상호연결된 강 세그먼트 간의 시공간적 의존성을 포괄하는 통합 모델을 개발하는 것.
• 새로운 손실 함수를 통해 전반적인 네트워크 수준 및 개별 세그먼트 수준의 예측 성능을 향상시키는 것.

제안 방법

• 강 세그먼트를 그래프의 노드로, 수문학적 상호작용을 간선으로 모델링하는 순환 그래프 신경망(RGrN) 아키텍처를 사용하여 시간에 따른 상游-하류 역학을 포착한다.
• 유량 과정의 사전 지식을 전이하기 위해 물리기반 모델의 시뮬레이션 데이터를 활용해 모델 가중치를 초기화한다.
• 잘 관측된 세그먼트에 대한 편향을 줄이고, 관측이 부족한 세그먼트로의 일반화를 향상시키기 위해 성능을 세그먼트 간 균형 있게 유지하는 대조 손실 함수를 도입한다.
• 시간 지연 메시지 전달 메커니즘(Eq. 5)을 통합하여 상류의 유량이 하류의 수온과 유량에 미치는 지연된 영향을 시뮬레이션한다.
• 희소 데이터 환경에서 표현 학습을 향상시키기 위해 관측 변수에 대한 지도 학습 손실과 대조 손실을 융합한 하이브리드 손실 함수를 사용한다.
• λ(지도 학습 가중치)와 γ(대조 손실 가중치)와 같은 하이퍼파ram터를 조정하여 물리적 일관성과 데이터 충실도 사이의 균형을 맞춘다.

실험 결과

연구 질문

• RQ1 물리기반 시뮬레이션을 통합한 기계학습 모델이 관측 데이터가 극히 적은 조건에서 순수 데이터 기반 또는 순수 물리모델보다 우수한 성능을 내는가?
• RQ2 그래프 기반 모델이 물리적 타당성을 유지하면서도 상호연결된 강 세그먼트 간의 시공간적 의존성을 효과적으로 포착할 수 있는가?
• RQ3 물리기반 시뮬레이션에서의 사전 훈련이 관측되지 않았거나 유량이 적은 강 세그먼트로의 일반화에 얼마나 기여하는가?
• RQ4 강 네트워크에서 잘 관측된 세그먼트와 관측이 부족한 세그먼트 간 성능을 균형 있게 유지하기 위해 손실 함수를 어떻게 설계할 수 있는가?
• RQ5 기존 모델 대비 제안된 방법이 계절 및 수문학적 제약 조건의 변화에 더 잘 일반화되는가?

주요 결과

• 관측 데이터의 0.1%만을 사용해도 PGRGrN은 상태기반 물리모델 대비 수온 예측에서 33%, 유량 예측에서 14% 향상된 성능을 달성한다.
• 냉기계절 데이터로만 훈련했을 때 PGRGrN은 여름 예측에서 온도 RMSE를 1.416 ± 0.019로 낮추었으며, 다음으로 우수한 모델(RNN ptr)보다 22.5% 우수한 성능을 보였다.
• 대조 학습을 적용한 PGRGrN(ptr,ctr)은 모든 테스트 시나리오에서 가장 낮은 RMSE를 기록하여 데이터 희소성과 계절 변화에 대한 강건성을 입증했다.
• 모델은 예측되지 않은 강 세그먼트와 다양한 유량 범위로의 일반화 능력이 향상되어 전통적인 RNN이나 ANN보다 더 뛰어난 전이 성능을 보였다.
• 민감도 분석 결과, 모델은 하이퍼파ram터 변화에 대해 강건하며, λ와 γ를 중간 정도로 조정했을 때 최적의 성능을 발휘함을 확인했다.
• 최대 5일까지의 시간 지연된 상류 영향을 포함함으로써 예측 정확도가 향상되었으며, 이는 수문학적 역학에서 시간 지연의 중요성을 확인한다.