[논문 리뷰] Differentiable, learnable, regionalized process-based models with physical outputs can approach state-of-the-art hydrologic prediction accuracy

Dapeng Feng, Jiangtao Liu외 2명|arXiv (Cornell University)|2022. 03. 28.

Hydrological Forecasting Using AIEnvironmental Science인용 수 19

한 줄 요약

이 논문은 물리적 과정 이해와 신경망 최적화를 결합한 미분 가능하고 학습 가능한 지역화된 프로세스 기반 수문 모델(이하 δ 모델)을 소개한다. HBV 수문 모델의 핵심 모듈에 신경망을 통합함으로써 δ 모델은 유역 671개에서 평균 NSE가 0.732로 최신 기술 수준에 근접한 유량 예측 정확도를 달성하면서도 토양 수분, 증산발산, 기저류와 같은 물리적으로 일관된 출력을 생성한다.

ABSTRACT

Predictions of hydrologic variables across the entire water cycle have significant value for water resource management as well as downstream applications such as ecosystem and water quality modeling. Recently, purely data-driven deep learning models like long short-term memory (LSTM) showed seemingly-insurmountable performance in modeling rainfall-runoff and other geoscientific variables, yet they cannot predict untrained physical variables and remain challenging to interpret. Here we show that differentiable, learnable, process-based models (called δ models here) can approach the performance level of LSTM for the intensively-observed variable (streamflow) with regionalized parameterization. We use a simple hydrologic model HBV as the backbone and use embedded neural networks, which can only be trained in a differentiable programming framework, to parameterize, enhance, or replace the process-based model modules. Without using an ensemble or post-processor, δ models can obtain a median Nash Sutcliffe efficiency of 0.732 for 671 basins across the USA for the Daymet forcing dataset, compared to 0.748 from a state-of-the-art LSTM model with the same setup. For another forcing dataset, the difference is even smaller: 0.715 vs. 0.722. Meanwhile, the resulting learnable process-based models can output a full set of untrained variables, e.g., soil and groundwater storage, snowpack, evapotranspiration, and baseflow, and later be constrained by their observations. Both simulated evapotranspiration and fraction of discharge from baseflow agreed decently with alternative estimates. The general framework can work with models with various process complexity and opens up the path for learning physics from big data.

연구 동기 및 목표

• 순수 데이터 기반의 딥 러닝 모델이 해석 불가능성과 훈련되지 않은 물리 변수 예측 불가능성 등의 한계를 해결한다.
• 물리적 과정 표현을 유지하면서도 엔드 투 엔드 미분 가능 학습이 가능한 하이브리드 모델링 프레임워크를 개발한다.
• 신경망을 활용한 지역화된 파rameterization을 통해 다양한 수문 기후 조건에서의 일반화 능력을 향상시킨다.
• 모델 출력이 물리적으로 일관되며, 증산발산 및 기저류와 같이 훈련되지 않은 변수의 관측치로 제약을 받을 수 있도록 보장한다.
• 물리 기반의 학습 가능한 모델이 앙상블이나 후처리 없이도 최신 기술 수준의 LSTM 모델과 동등한 예측 정확도를 달성할 수 있음을 입증한다.

제안 방법

• 물리적 배경으로서 수문 순환을 프로세스 기반 모듈로 시뮬레이션하는 HBV(Hydrologiska Byrån model)를 사용한다.
• 백프로파게이션을 통해 훈련되는 미분 가능한 신경망으로 핵심 HBV 모듈(예: 눈 녹음, 토양 수분, 유량)을 대체하거나 강화한다.
• 유역 특성에 맞는 데이터로 훈련함으로써 지역화된 파rameterization을 적용하여 유사한 수문 기후 조건을 가진 지역 간 전이 학습을 가능하게 한다.
• 모든 모델을 엔드 투 엔드로 훈련하기 위해 미분 가능한 프ogram밍 프레임워크를 사용하여 물리적 파rameter와 신경망 가중치의 기울기 기반 최적화를 가능하게 한다.
• Daymet 기상 강하 데이터셋과 두 번째 대체 데이터셋을 사용하여 다양한 기후 조건에서의 모델 성능을 평가한다.
• 모델 출력(예: 증산발산, 기저류)이 독립적인 관측치와 비교되고 제약을 받을 수 있도록 물리적 일관성을 확보한다.

실험 결과

연구 질문

• RQ1 미분 가능하고 학습 가능한 프로세스 기반 모델이 LSTM과 같은 최신 기술 수준의 딥 러닝 모델과 유사한 유량 예측 정확도를 달성할 수 있는가?
• RQ2 신경망이 프로세스 기반 모듈을 얼마나 잘 향상시키거나 대체할 수 있으며, 물리적 일관성과 해석 가능성은 유지되는가?
• RQ3 제안된 프레임워크는 훈련되지 않은 물리 변수(예: 토양 수분, 증산발산, 기저류)를 합리적인 정확도로 예측할 수 있는가?
• RQ4 지역화된 파rameterization은 다양한 미국 유역에서의 모델 일반화 및 성능에 어떤 영향을 미치는가?
• RQ5 유량 이외의 물리 변수 관측치로 모델 출력을 의미적으로 제약할 수 있는가?

주요 결과

• δ 모델은 Daymet 강하 데이터셋을 사용하여 미국 671개 유역에서 평균 나쉬-수트클리프 효율(NSE)이 0.732를 기록했으며, 동일 조건에서 LSTM 모델의 0.748에 근접한 성능을 달성했다.
• 두 번째 강하 데이터셋을 사용한 결과, δ 모델의 NSE는 0.715였고, LSTM 모델의 0.722와 거의 동등한 예측 정확도를 보였다.
• 모델은 증산발산 및 기저류와 같이 훈련되지 않은 변수에 대해 물리적으로 일관된 출력을 성공적으로 생성했으며, 다른 추정치와 양호한 일치를 보였다.
• 이 프레임워크는 물리 기반 모델의 엔드 투 엔드 훈련을 가능하게 하여 물리적 요소와 학습된 요소의 기울기 기반 최적화를 동시에 수행할 수 있다.
• 지역화된 파rameterization은 모델의 일반화 능력을 크게 향상시켜 다양한 수문 기후 제도에서 견고한 성능을 발휘했다.
• 순수 데이터 기반 모델에서만 달성 가능했던 성능 수준을 유지하면서도 물리적 해석 가능성은 그대로 유지했다.