[논문 리뷰] Transfer learning to improve streamflow forecasts in data sparse regions

Roland Oruche, Lisa Egede외 2명|arXiv (Cornell University)|2021. 12. 06.

Hydrological Forecasting Using AI인용 수 11

한 줄 요약

이 논문은 켄야의 상류 탄아 강수역과 같은 데이터가 부족한 지역에서 강수량 예측 성능을 햖थ기 위해, 미세조정된 장기 단기 기억(LSTM) 네트워크를 사용하는 전이학습 프레임워크를 제안한다. 대규모 데이터가 풍부한 소스 도메인(미국 CAMELS)에서 작은 타겟 도메인 데이터셋(TNC 켄야)으로 지식을 전이함으로써, 정적 강수역 특성과 동적 기상 입력을 활용하여 표준 LSTM 모델보다 예측 성능을 크게 향상시킨다.

ABSTRACT

Effective water resource management requires information on water availability, both in terms of quality and quantity, spatially and temporally. In this paper, we study the methodology behind Transfer Learning (TL) through fine-tuning and parameter transferring for better generalization performance of streamflow prediction in data-sparse regions. We propose a standard recurrent neural network in the form of Long Short-Term Memory (LSTM) to fit on a sufficiently large source domain dataset and repurpose the learned weights to a significantly smaller, yet similar target domain datasets. We present a methodology to implement transfer learning approaches for spatiotemporal applications by separating the spatial and temporal components of the model and training the model to generalize based on categorical datasets representing spatial variability. The framework is developed on a rich benchmark dataset from the US and evaluated on a smaller dataset collected by The Nature Conservancy in Kenya. The LSTM model exhibits generalization performance through our TL technique. Results from this current experiment demonstrate the effective predictive skill of forecasting streamflow responses when knowledge transferring and static descriptors are used to improve hydrologic model generalization in data-sparse regions.

연구 동기 및 목표

• 제한된 역학적 수문학적 모니터링으로 인한 데이터가 부족한 지역에서의 낮은 강수량 예측 정확도 문제를 해결한다.
• 전문가 설정이 필요하고 데이터가 제한된 환경에서 구현하기 어려운 전통적 수문학 모델인 SWAT의 한계를 극복한다.
• 전이학습을 통해 지리적·기후적으로 상이한 지역 간에 일반화 가능한 딥러닝 프레임워크를 개발한다.
• 최소한의 현지 데이터로도 개발 지역의 수자원 기금 및 이해관계자들이 신뢰할 수 있는 강수량 예측을 가능하게 하여 예측 성능을 향상시킨다.
• 정적 강수역 특성과 동적 기상 입력을 결합한 전이학습 환경에서 수문학적 시계열 예측의 효과를 입증한다.

제안 방법

• 풍부한 기상 및 강수역 특성 데이터를 포함한 대규모 벤치마크인 미국 CAMELS 데이터셋에서 다층 장기 단기 기억(LSTM) 네트워크를 훈련한다.
• TNC 켄야의 작은 타겟 데이터셋에서 사전 훈련된 LSTM 모델을 미세조정하며, 강수량, 기온 등의 동적 입력과 고도, 토양 유형, 지형 이용 등 정적 강수역 특성을 모두 활용한다.
• 강수역 특성의 범주형 기술자를 통해 공간적 변동성을 인코딩하여 시간적 및 공간적 모델링 구성 요소를 분리함으로써 지역 간 일반화 능력을 향상시킨다.
• 검증 지표를 사용하여 훈련 및 미세조정 과정에서 모델 가중치를 최적화하여 타겟 도메인으로의 강건성과 전이 가능성 확보한다.
• 다양한 강수역에 대해 미세조정된 모델을 복제하여 타겟 지역의 미관측 강수역에서의 일반화 성능을 평가한다.
• 표준 LSTM, 정적 특성 없이 전이학습, 정적 특성과 함께 전이학습, 전이학습 없음의 네 가지 조건을 비교하는 표준화된 평가 프로토콜을 사용한다.

실험 결과

연구 질문

• RQ1 풍부한 데이터를 가진 소스 도메인(미국 CAMELS)에서 전이학습을 통해 데이터가 부족한 타겟 지역(켄야)에서의 강수량 예측 성능을 향상시킬 수 있는가?
• RQ2 정적 강수역 특성이 데이터가 적은 환경에서 LSTM 모델의 일반화 능력에 얼마나 기여하는가?
• RQ3 전이학습과 정적 특성의 조합이 표준 LSTM 또는 정적 특성이 없는 전이학습에 비해 예측 정확도에서 어떻게 비교되는가?
• RQ4 지리적·기후적으로 상이한 소스 도메인에서 타겟 지역으로 지식을 전이할 경우, 부정적 전이의 영향은 어떠한가?
• RQ5 단일의 미세조정된 LSTM 모델이 개발 지역의 여러 미측정 또는 희소 측정 강수역에서 효과적으로 일반화될 수 있는가?

주요 결과

• 전이학습을 통한 강화된 LSTM(LSTM_TL) 모델은 TNC 켄야 데이터셋에서 표준 LSTM 모델보다 강수량 예측 성능이 뚜렷이 향상되어 현실성과 정확도가 향상됨을 입증했다.
• 전이학습 과정에서 정적 강수역 특성을 통합함으로써 예측 성능에 명확한 향상이 있었으며, 특히 훈련 데이터가 제한된 지역에서 두드러졌다.
• 미국 CAMELS 소스 도메인의 지식을 활용함으로써 상류 탄아 강수역의 다양한 강수역에서 일반화 능력이 향상되었으며, 타겟 데이터가 극히 적은 상태에서도 성과를 거두었다.
• 이 프레임워크는 광범위한 현지 데이터 수집과 전문가 설정이 필요 없어졌으며, 수문학적 모니터링 인프라가 제한된 개발 지역에 적합한 솔루션으로서의 가능성을 보였다.
• 결과적으로 전이학습과 정적 특성의 조합은 수문학적 예측에서 데이터 부족성과 일관성 없는 문제를 효과적으로 완화시킬 수 있음을 시사한다.
• 이 접근법은 수자원 기금 및 보존 프로그램에 응용될 잠재력을 지니며, 지역 사회 및 생태계 관리에 더 신뢰할 수 있는 수자원 가용성 예측을 가능하게 한다.