[논문 리뷰] SSL4EO-L: Datasets and Foundation Models for Landsat Imagery

Adam J. Stewart, Nils Lehmann외 7명|arXiv (Cornell University)|2023. 06. 15.

Geochemistry and Geologic Mapping인용 수 6

한 줄 요약

이 논문은 랜드세트 위성 영상에 대한 첫 번째 자기지도 학습 데이터셋인 SSL4EO-L을 소개한다. 이 데이터셋은 랜드세트 4–9 센서와 제품 수준을 포함해 총 500만 개의 영상 패치를 포함한다. 연구자들은 대조 학습(MoCo)을 사용해 기초 모델을 사전 훈련하여 영상 분할 작업(예: 구름 탐지 및 작물 분류)에서 최신 기술 수준의 성능을 달성하였다. 전체 코드, 모델, 데이터셋은 재현 가능성을 위해 TorchGeo를 통해 공개되었다.

ABSTRACT

The Landsat program is the longest-running Earth observation program in history, with 50+ years of data acquisition by 8 satellites. The multispectral imagery captured by sensors onboard these satellites is critical for a wide range of scientific fields. Despite the increasing popularity of deep learning and remote sensing, the majority of researchers still use decision trees and random forests for Landsat image analysis due to the prevalence of small labeled datasets and lack of foundation models. In this paper, we introduce SSL4EO-L, the first ever dataset designed for Self-Supervised Learning for Earth Observation for the Landsat family of satellites (including 3 sensors and 2 product levels) and the largest Landsat dataset in history (5M image patches). Additionally, we modernize and re-release the L7 Irish and L8 Biome cloud detection datasets, and introduce the first ML benchmark datasets for Landsats 4-5 TM and Landsat 7 ETM+ SR. Finally, we pre-train the first foundation models for Landsat imagery using SSL4EO-L and evaluate their performance on multiple semantic segmentation tasks. All datasets and model weights are available via the TorchGeo (https://github.com/microsoft/torchgeo) library, making reproducibility and experimentation easy, and enabling scientific advancements in the burgeoning field of remote sensing for a multitude of downstream applications.

연구 동기 및 목표

• 랜드세트 영상에 대한 기초 모델과 대규모 사전 훈련 데이터셋의 부족으로 인해 원격 감지 분야에서 딥러닝의 도입이 제한되고 있는 문제를 해결하기 위해.
• 지구 관측 분야에서 레이블이 부족한 데이터셋 문제를 해결하기 위해, 랜드세트 센서를 위한 대규모 자기지도 사전 훈련 데이터셋을 구축하기 위해.
• 사전 훈련된 모델을 활용해 구름 탐지 및 작물 분류와 같은 후행 작업에서 전이 학습 성능 향상을 가능하게 하기 위해.
• 오래된 데이터셋(L7 Irish, L8 Biome)을 현대화하고 재배포하며, 랜드세트 4–5 TM 및 7 ETM+ SR 센서용 새로운 벤치마크 데이터셋을 도입하기 위해.
• TorchGeo 라이브러리를 통해 모든 모델, 데이터셋, 훈련 코드를 오픈소스화하여 재현 가능성과 공동체 차원의 발전을 보장하기 위해.

제안 방법

• 저자들은 랜드세트 4–9에서 유래한 500만 개 패치로 구성된 SSL4EO-L를 구축하였으며, 다양한 센서(MSS, TM, ETM+, OLI/TIRS)와 제품 수준(TOA 및 SR)을 포함한다.
• 저자들은 MoCo(Momentum Contrast)를 사용해 대조적 자기지도 학습을 수행하여, 레이블 없이도 일반화 가능한 표현을 학습할 수 있도록 ResNet-18 기반 모델을 SSL4EO-L에서 사전 훈련한다.
• 사전 훈련된 모델은 U-Net 아키텍처를 사용해 후행 영역 분할 작업(예: L7 Irish의 구름 탐지 및 CDL의 작물 유형 분류)에서 미세조정된다.
• 연구는 표준 영역 분할 평가 지표(IoU, F1-score 등)를 사용해 기존의 픽셀 기반 분류기(예: 랜덤 포레스트)와 비교하여 성능을 평가한다.
• 랜드세트 4–5 TM 및 7 ETM+ SR용 벤치마크 데이터셋을 구축하여, 모든 현대 랜드세트 센서와 제품 수준 간의 직접적이고 공정한 비교를 가능하게 한다.
• 모든 데이터셋, 모델, 훈련 스크립트는 재현 가능성과 공동체의 재사용을 위해 TorchGeo 라이브러리를 통해 공개된다.

Figure 1: Spectral wavelengths and spatial resolutions of each band captured by the Landsat sensors used in our study. Numbers are band indices and colors are for visualization purposes only. As each sensor has a different number of spectral bands, spatial resolutions, and wavelengths, it is not pos

실험 결과

연구 질문

• RQ1 대규모이고 다양한 랜드세트 영상 데이터셋에서 자기지도 사전 훈련을 수행할 경우, 기존의 랜덤 포레스트와 같은 전통적 방법에 비해 후행 영역 분할 성능이 향상되는가?
• RQ2 SSL4EO-L에서 사전 훈련된 기초 모델은 다양한 랜드세트 센서(TM, ETM+, OLI)와 제품 수준(TOA 대비 SR) 간에 얼마나 잘 일반화되는가?
• RQ3 제한된 레이블 데이터로 미세조정할 때, SSL4EO-L에서 사전 훈련된 모델이 구름 탐지 및 작물 분류 작업에서 성능 향상에 얼마나 기여하는가?
• RQ4 기존의 원격 감지 분야의 SSL 데이터셋(특히 지구 관측 위성인 지구관측 위성 2 또는 상업적 테트라콘스터레이션 기반)과 비교했을 때, SSL4EO-L의 성능 특성은 어떠한가?
• RQ5 사전 훈련 데이터에 명시적인 예시가 없더라도, 제안된 기초 모델이 희귀하거나 표현이 부족한 클래스(예: 겨울 밀, 방치된 땅)에 대해 일반화 가능한가?

주요 결과

• SSL4EO-L에서 사전 훈련된 기초 모델은 구름 탐지 및 작물 분류 작업에서 의사결정 트리나 랜덤 포레스트와 같은 전통적 픽셀 기반 분류기보다 뚜렷이 뛰어난 성능을 보였다.
• L7 Irish 데이터셋에서 미세조정된 MoCo 기반 모델은 인간 레이블 기반 참값보다 더 많은 구름 및 얇은 구름 영역을 정확히 식별하는 등 뛰어난 구름 탐지 성능을 보였다.
• 모델는 강력한 제로샷 일반화 능력을 보였으며, 훈련 예제가 없더라도 일반적인 작물 유형(예: 옥수수, 콩)을 정확히 식별했지만, 겨울 밀이나 방치된 땅과 같은 계절 작물에는 어려움을 겪었다.
• 모델는 구름 그림자 탐지에 일관되게 실패했는데, 이는 SSL4EO-L 사전 훈련 데이터에 그림자가 드물게 등장했기 때문이다. 이는 데이터 커버리지의 핵심적 한계를 드러낸다.
• 랜드세트 4–5 TM 및 7 ETM+ SR용 벤치마크 데이터셋은 모든 현대 랜드세트 센서와 제품 수준 간의 직접적이고 공정한 비교를 가능하게 하여 원격 감지 공동체에서 중요한 격차를 메웠다.
• 모든 데이터셋, 모델, 훈련 코드는 TorchGeo를 통해 공개되어 재현 가능성을 보장하고, 지구 관측 및 딥러닝 분야의 향후 연구를 가속화하고 있다.

Figure 2: Timeline of all Landsat missions. Crosshatched regions represent partial or complete sensor failure, including electrical issues with RBV on Landsat 1 and SLC-off on Landsat 7. Each bar ranges from launch date to decommissioning date. Note that satellites may be placed in standby mode befo