[논문 리뷰] Evaluating aleatoric and epistemic uncertainties of time series deep learning models for soil moisture predictions

Kuai Fang, Chaopeng Shen외 1명|arXiv (Cornell University)|2019. 06. 10.

Soil Moisture and Remote Sensing인용 수 11

한 줄 요약

이 논문은 토양 수분 예측을 위한 장기 단기 기억망(LSTM) 모델에서 몬테카를로 드롭아웃(Monte Carlo dropout, MCD) 방법에 애일레토릭 불확실성 항목을 추가한 것을 평가한다. 검증 연도에서 드롭아웃 비율을 튜닝한 후, 통합 불확실성 추정치($σ_{\text{comb}}$)는 모델 오차를 성공적으로 예측하고 입력 공간 내의 이질성도 탐지함으로써, MCD가 수문학적 시계열에 대해 신뢰할 수 있는 이질성 탐지기로 작용하는 것으로 나타났다.

ABSTRACT

Soil moisture is an important variable that determines floods, vegetation health, agriculture productivity, and land surface feedbacks to the atmosphere, etc. Accurately modeling soil moisture has important implications in both weather and climate models. The recently available satellite-based observations give us a unique opportunity to build data-driven models to predict soil moisture instead of using land surface models, but previously there was no uncertainty estimate. We tested Monte Carlo dropout (MCD) with an aleatoric term for our long short-term memory models for this problem, and asked if the uncertainty terms behave as they were argued to. We show that the method successfully captures the predictive error after tuning a hyperparameter on a representative training dataset. We show the MCD uncertainty estimate, as previously argued, does detect dissimilarity.

연구 동기 및 목표

• 몬테카를로 드롭아웃(MCD)에 애일레토릭 항목을 추가한 것이 심층 학습 모델의 토양 수분 예측에서 불확실성을 효과적으로 정량화할 수 있는지 평가하는 것.
• MCD의 지식 기반 불확실성 성분이 가우시안 프로세스 근사에 따라 기대되는 바와 같이 입력 공간 내의 이질성을 탐지하는지 확인하는 것.
• 하이퍼파라미터 튜닝 이후 통합 불확실성 추정치($\\sigma_{\\text{comb}}$)가 실제 예측 오차와 상관관계를 가지는지 평가하는 것.
• 데이터의 난수성과 분포 외 입력에 대한 애일레토릭 및 지식 기반 불확실성 성분의 반응을 조사하는 것.
• 시간 일반화 테스트를 사용하여 실세계 SMAP 토양 수분 데이터를 미국 대륙(CONUS) 전역에서 검증하는 것.

제안 방법

• SMAP 토양 수분 및 기상 강하 데이터의 1년 분량을 사용해 LSTM 모델을 훈련하여 CONUS 전역의 토양 수분을 예측한다.
• 추론 과정에서 몬테카를로 드롭아웃(MCD)을 적용하여 예측의 앙상블을 생성하고, 이 예측들의 분산을 지식 기반 불확실성($\\sigma_{\\text{mc}}$)의 추정치로 사용한다.
• 신경망에 두 번째 출력 헤드($\\sigma_x$)를 추가하여 이질적인 관측 노이즈를 예측함으로써 애일레토릭 불확실성을 표현한다.
• 두 불확실성 성분을 $\\sigma_{\\text{comb}}^2 = \\sigma_{\\text{mc}}^2 + \\sigma_x^2$로 조합하여 총합 불확실성 추정치를 형성한다.
• 예측 오차의 크기와 일치하도록 불확실성의 크기를 校정하기 위해 두 번째 연도의 데이터에서 드롭아웃 비율을 튜닝한다.
• 예측 오차와의 캘리브레이션 곡선 및 오차와의 공간 상관관계와 같은 지표를 사용해, 세 번째 독립 테스트 연도에서 불확실성 추정치를 평가한다.

실험 결과

연구 질문

• RQ1 하이퍼파라미터 튜닝 이후 MCD 기반 불확실성 추정치가 실제 예측 오차의 크기를 정확히 반영하는가?
• RQ2 모델이 훈련 분포와 이질적인 입력 데이터를 만났을 때 지식 기반 불확실성 성분($\\sigma_{\\text{mc}}$)이 증가하는가?
• RQ3 애일레토릭 불확실성 성분($\\sigma_x$)이 시스템 내 입력 의존적 노이즈나 난수성을 효과적으로 포착하는가?
• RQ4 통합 불확실성 추정치($\\sigma_{\\text{comb}}$)는 시간 일반화 시나리오에서 모델 오차를 예측하는 데 사용될 수 있는가?
• RQ5 모델의 불확실성은 명시적인 위치 특징 없이도 지리적 및 기후적 이질성을 얼마나 잘 반영하는가?

주요 결과

• 캘리브레이션된 $\\sigma_{\\text{comb}}$ 불확실성 추정치는 편향 없는 평균 제곱근 오차(ubRMSE)와 강한 공간적 일치를 보였으며, SMAP 데이터 품질이 낮은 동부 및 산악 지역에서 불확실성이 더 높았다.
• $\\sigma_{\\text{comb}}$의 캘리브레이션 곡선은 실제 오차와 거의 일대일 직선을 이룬 것으로, 잘 校정된 불확실성 추정치임을 시사한다.
• 지식 기반 불확실성($\\sigma_{\\text{mc}}$)은 훈련 HUC2 유역 내에서 가장 낮았고, 지리적 거리가 멀어질수록 증가하여 MCD가 명시적인 위치 특징 없이도 입력 이질성을 탐지함을 입증한다.
• $\\sigma_{\\text{mc}}$의 공간 패턴은 산림 피복도 및 토양 텍스처와 같은 기후학적 및 지표면 특성을 반영하였으며, 이는 입력 데이터 내에서 자동 상관관계를 가짐을 의미한다.
• 애일레토릭 불확실성 항목($\\sigma_x$)은 입력 의존적 노이즈를 효과적으로 포착하여 총합 불확실성 추정치에 의미 있는 기여를 하였다.
• 이 방법은 시간 일반화(한 해 동안 훈련, 다음 해에 테스트) 상황에서 모델 오차를 성공적으로 예측하여 실세계 수문학 예측에 유용함을 확인하였다.