[논문 리뷰] Self-supervised Contrastive Learning for Irrigation Detection in Satellite Imagery

Chitra Agastya, Sirak Ghebremusse외 4명|Deep Blue (University of Michigan)|2021. 08. 11.

Flood Risk Assessment and Management인용 수 7

한 줄 요약

이 논문은 캘리포니아의 센티넬-2 데이터를 사전 훈련하고, BigEarthNet-S2에서 최소한의 레이블된 데이터로 미세조정함으로써, 정제되지 않은 레이블 없는 데이터를 사용하여 다중스펙트럼 위성 영상에서 관개를 탐지하기 위한 자기지도 학습 대비 학습 프레임워크인 SimCLR-S2를 제안한다. 감시 학습 기반 모델 대비 최대 9배 높은 정밀도, 90% 높은 재현율, 그리고 다양한 지리적 환경에서 40% 높은 일반화 능력을 확보한다.

ABSTRACT

Climate change has caused reductions in river runoffs and aquifer recharge resulting in an increasingly unsustainable crop water demand from reduced freshwater availability. Achieving food security while deploying water in a sustainable manner will continue to be a major challenge necessitating careful monitoring and tracking of agricultural water usage. Historically, monitoring water usage has been a slow and expensive manual process with many imperfections and abuses. Ma-chine learning and remote sensing developments have increased the ability to automatically monitor irrigation patterns, but existing techniques often require curated and labelled irrigation data, which are expensive and time consuming to obtain and may not exist for impactful areas such as developing countries. In this paper, we explore an end-to-end real world application of irrigation detection with uncurated and unlabeled satellite imagery. We apply state-of-the-art self-supervised deep learning techniques to optical remote sensing data, and find that we are able to detect irrigation with up to nine times better precision, 90% better recall and 40% more generalization ability than the traditional supervised learning methods.

연구 동기 및 목표

• 수행 비용이 높고 희박한 수동 애너테이션으로 인해 개발도상국에서 레이블이 부족한 관개 데이터 문제를 해결한다.
• 레이블이 없는 위성 영상에서 자기지도 사전 훈련을 활용하여, 기존에 레이블이 없는 데이터셋이 있는 지역에서도 정확한 관개 탐지가 가능하도록 한다.
• 캘리포니아에서 사전 훈련한 모델이 최소한의 미세조정으로도 다양한 세계 각지의 지역(예: 브라질, 인도, 베트남)에 효과적으로 일반화되는지 평가한다.
• 레이블이 부족할 경우 전통적인 감시 학습보다 대비 학습이 더 우수한 성능을 보일 수 있음을 입증한다.
• 고해상도 다중스펙트럼 위성 데이터를 활용해 글로벌 관개 모니터링을 위한 확장 가능하고 자원이 적은 솔루션을 개발한다.

제안 방법

• 캘리포니아의 센트럴 밸리에서 확보한 레이블이 없는 센티넬-2 표면 반사율 영상(10개 스펙트럼 대역 포함, 수분 민감도 분석에 유리한 적외선 포함)을 사용하여 SimCLR 프레임워크 기반의 딥 네ural 네트워크를 사전 훈련한다.
• 대비 학습을 위해 데이터 증강(예: 자르기, 색상 왜곡, 뒤집기)을 적용하여 양성 쌍을 생성하고, SimCLR 대비 손실 함수를 최적화하여 증강된 시각 간의 일치도를 극대화한다.
• BigEarthNet-S2에서 공개된 레이블이 있는 데이터의 소수를 사용하여 사전 훈련된 모델을 미세조정한다. 이 데이터셋은 10개 유럽 국가에서 13,589개의 관개 농경지 샘플을 포함한다.
• 미세조정된 모델을 사용하여 브라질, 인도, 인дон네시아, 튀니지, 베트남 등 새로운 지리적 영역의 레이블이 없는 위성 영상에서 관개 상태를 예측한다.
• crowdsourced ground truth 데이터(크로플랜드스닷오알지)를 기반으로 정밀도와 재현율을 평가하고, Amazon Mechanical Turk를 통한 시각적 검증을 실시한다.
• 다양한 레이블 데이터 양(1%에서 100%까지 BigEarthNet-S2)을 사용해 사전 훈련된 감시 학습 기반 모델과의 성능을 비교한다.

실험 결과

연구 질문

• RQ1 레이블이 없는 위성 영상에서 자기지도 대비 학습을 적용할 경우, 레이블이 제한된 상황에서 감시 학습 대비 더 뛰어난 관개 탐지 성능을 달성할 수 있는가?
• RQ2 한 지역(캘리포니아)의 위성 데이터에서 사전 훈련한 모델이 최소한의 미세조정으로도 세계 각지의 농업 지역(예: 인도, 브라질, 베트남)에 효과적으로 일반화되는가?
• RQ3 전체 레이블 데이터의 0.033%만 사용해 미세조정한 경우, 자기지도 학습 모델의 정밀도와 재현율이 감시 학습 기반 모델과 비교해 어떻게 되는가?
• RQ4 센티넬-2의 10개 스펙트럼 대역을 모두 사용할 경우, 표준 RGB 기반 모델 대비 관개 탐지 성능이 얼마나 향상되는가?
• RQ5 최소한의 인간 애너테이션을 요구하면서도, 실제 정제되지 않은 위성 데이터에 대해 SimCLR-S2 프레임워크가 효과적으로 적용될 수 있는가?

주요 결과

• SimCLR-S2 모델은 빅어스넷-S2의 1%에 해당하는 190개의 레이블 샘플만 사용해도, 검증되지 않은 캘리포니아 데이터에서 100%의 정밀도를 달성했으며, 감시 학습 기반 모델은 단지 11%의 정밀도를 기록했다.
• 19,024개의 레이블 샘플(빅어스넷-S2의 100%)을 사용한 경우, SimCLR-S2는 여전히 100%의 정밀도를 유지했지만, 감시 학습 기반 모델은 정밀도가 47%에 그쳤다.
• 6개의 다양한 국가에서의 글로벌 테스트 데이터에서 SimCLR-S2는 중앙값 재현율 0.82를 기록했으며, 6개 지역 중 4개에서 감시 학습 기반 모델을 능가했고, 인도에서는 90%의 재현율, 베트남에서는 90%의 재현율을 기록했다.
• 6개의 테스트 지리적 지역 평균으로 SimCLR-S2는 감시 학습 기반 모델 대비 재현율이 90% 높았으며, 인도네시아에서는 76%, 튀니지에서는 78%의 재현율을 기록했다.
• SimCLR-S2는 감시 학습 모델보다 훨씬 뛰어난 일반화 능력을 보였으며, 감시 학습 기반 모델이 재현율 0%를 기록한 미얀마와 인도네시아 지역에서도 관개를 탐지했다.
• 전체 레이블 데이터의 0.033%(190개 샘플)만 사용한 상황에서도 SimCLR-S2는 99%의 정밀도와 75%의 재현율을 기록해, 극도로 적은 감시를 요구함에도 불구하고 뛰어난 성능을 보였다.