[논문 리뷰] Global soil moisture from in-situ measurements using machine learning -- SoMo.ml

O Sungmin, René Orth|arXiv (Cornell University)|2020. 10. 05.

Soil Moisture and Remote Sensing인용 수 14

한 줄 요약

이 논문은 2000–2019년 기간 동안 0.25° 해상도, 다층(0–10, 10–30, 30–50 cm)으로 전 세계를 아우르는 일일 soil moisture 데이터셋 SoMo.ml을 제시한다. 이 데이터셋은 1,000개 이상의 현장 측정소 데이터를 기반으로 Long Short-Term Memory (LSTM) 신경망을 활용해 유도된 것으로, 관측 데이터를 ERA5의 평균 및 변동성을 반영하도록 조정하면서도 지역적 시간 동역학을 유지한다. SoMo.ml은 기존의 위성 및 모델 기반 데이터셋보다 관측 데이터와 더 높은 시간 상관관계를 보이며, 수문학적 및 기후학적 연구에 새로운 독립적인 데이터 소스를 제공한다.

ABSTRACT

While soil moisture information is essential for a wide range of hydrologic and climate applications, spatially-continuous soil moisture data is only available from satellite observations or model simulations. Here we present a global, long-term dataset of soil moisture generated from in-situ measurements using machine learning, SoMo.ml. We train a Long Short-Term Memory (LSTM) model to extrapolate daily soil moisture dynamics in space and in time, based on in-situ data collected from more than 1,000 stations across the globe. SoMo.ml provides multi-layer soil moisture data (0-10 cm, 10-30 cm, and 30-50 cm) at 0.25° spatial and daily temporal resolution over the period 2000-2019. The performance of the resulting dataset is evaluated through cross validation and inter-comparison with existing soil moisture datasets. SoMo.ml performs especially well in terms of temporal dynamics, making it particularly useful for applications requiring time-varying soil moisture, such as anomaly detection and memory analyses. SoMo.ml complements the existing suite of modelled and satellite-based datasets given its independent and novel derivation, to support large-scale hydrological, meteorological, and ecological analyses.

연구 동기 및 목표

• 현장 관측 데이터와 기계학습을 활용해 글로벌 일致성 있고 장기적인 다층 토양 수분 데이터셋을 생성하는 것.
• 희소한 현장 네트워크, 위성 추정(표면 토양에 국한), 모델 시뮬레이션(파rameterization로 인한 높은 불확실성)의 한계를 극복하는 것.
• 지역적 시간 동역학을 유지하면서도 ERA5 기반 정규화를 통해 공간 일관성을 확보하는 데이터 기반 토양 수분 제품을 생산하는 것.
• 기존 위성 및 모델 기반 토양 수분 제품과 보완되는 독립적이고 고시간 해상도의 데이터셋을 제공하는 것.
• 개선된 시간 해상도를 바탕으로 대규모 수문학적, 기상학적, 생태학적 분석을 지원하는 것.

제안 방법

• 기후 예측자와 재분석 및 위성 데이터에서 유도된 정적 특성을 활용해, 0.25° 공간 해상도와 일일 시간 해상도에서 매일의 토양 수분을 예측하는 Long Short-Term Memory (LSTM) 신경망을 훈련한다.
• ISMN 및 CEMADEN의 현장 토양 수분 데이터는 품질 필터링을 거친 후, 겹치는 시간 및 격자 셀에서 ERA5 토양 수분의 평균과 표준편차를 일치시키도록 조정된다.
• ERA5 토양 수분(0–7, 7–28, 28–100 cm)을 목표 층(0–10, 10–30, 30–50 cm)으로 깊이 가중 평균을 사용해 수직 보간한다.
• 여러 현장 측정소가 동일한 격자 셀에 있는 경우, 같은 깊이에서의 현장 측정값 평균을 훈련의 타겟으로 사용한다.
• LSTM 모델은 현장 데이터로부터 공간-시간 패턴을 학습하면서도, 정규화를 통해 ERA5의 대규모 기후 특성을 이어받는다.
• 최종 데이터셋은 교차 검증 및 참조 데이터셋(예: ERA5, ESA-CCI, GLEAM)과의 상호 비교를 통해 검증되며, 편향, 상관관계, 시간 이상치 상관관계 등의 지표를 사용한다.

실험 결과

연구 질문

• RQ1 희소한 현장 관측 데이터로 훈련된 기계학습 모델이 고시간 해상도를 확보하면서도 글로벌 일관성과 다층 토양 수분 데이터셋을 생성할 수 있는가?
• RQ2 데이터 기반 LSTM 기반 토양 수분 제품의 성능은 기존 위성 및 모델 기반 데이터셋과 비교해 시간 동역학 측면에서 어떻게 나타나는가?
• RQ3 ERA5 통계를 활용한 현장 데이터 정규화가 유도된 토양 수분 데이터셋의 공간 일관성과 기후학적 현실성에 얼마나 기여하는가?
• RQ4 SoMo.ml 데이터셋에서 가장 큰 불확실성은 어디에 있으며, 이는 훈련 데이터의 한계와 어떻게 관련되어 있는가?
• RQ5 SoMo.ml은 땅표면 모델 평가 및 원격 감지 추정치 평가에 있어 신뢰할 수 있는 독립 기준으로 기능할 수 있는가?

주요 결과

• SoMo.ml은 평가된 모든 데이터셋 중에서 현장 관측 데이터와 가장 높은 시간 이상치 상관관계를 보이며, 매일의 토양 수분 동역학을 보다 우수하게 포착하고 있음을 시사한다.
• 전 세계적인 공간 패턴에서 참조 데이터셋과 강한 일치를 보이며, 열대 및 고위도 지역에서 높은 토양 수분, 갈라진 지역에서는 낮은 값이 관측된다.
• 15°N–25°N 지역에서 SoMo.ml은 참조 데이터셋보다 더 습한 조건을 보이며, 특히 깊은 층에서 두드러진다. 이는 갈라진 지역에서의 훈련 데이터 부족과 모델이 수문기후 다양성에 민감하기 때문일 수 있다.
• SoMo.ml은 시간 동역학 측면에서 특히 뛰어난 성능을 보이며, 기후학 및 수문학 분야에서 이상치 탐지 및 기억 분석과 같은 응용에 이상적이다.
• 고위도 및 갈라진 지역에서 눈에 띄는 차이점이 관측되며, 이는 희소한 훈련 데이터와 관련이 있으며, 다른 데이터셋에서도 관찰되는 불확실성과 일치한다.
• 이러한 불확실성에도 불구하고 SoMo.ml은 기존 위성 및 모델 기반 제품과 보완되는 가치 있는 독립적이고 고해상도의 토양 수분 데이터셋을 제공한다.