[논문 리뷰] SSL4EO-S12: A Large-Scale Multi-Modal, Multi-Temporal Dataset for Self-Supervised Learning in Earth Observation

Yi Wang, Nassim Ait Ali Braham외 4명|arXiv (Cornell University)|2022. 11. 13.

Advanced Image and Video Retrieval Techniques인용 수 25

한 줄 요약

저자들은 SSL4EO-S12를 공개합니다. 이 글로벌한 다중모달 다중시계열의 비라벨 EO 데이터셋(Sentinel-1/2)을 자기지도학습(pre-training)에 사용하고, 다양한 SSL 방법과 다운스트림 RS 작업 전반에서 그 효과를 보여줍니다.

ABSTRACT

Self-supervised pre-training bears potential to generate expressive representations without human annotation. Most pre-training in Earth observation (EO) are based on ImageNet or medium-size, labeled remote sensing (RS) datasets. We share an unlabeled RS dataset SSL4EO-S12 (Self-Supervised Learning for Earth Observation - Sentinel-1/2) to assemble a large-scale, global, multimodal, and multi-seasonal corpus of satellite imagery from the ESA Sentinel-1 \& -2 satellite missions. For EO applications we demonstrate SSL4EO-S12 to succeed in self-supervised pre-training for a set of methods: MoCo-v2, DINO, MAE, and data2vec. Resulting models yield downstream performance close to, or surpassing accuracy measures of supervised learning. In addition, pre-training on SSL4EO-S12 excels compared to existing datasets. We make openly available the dataset, related source code, and pre-trained models at https://github.com/zhu-xlab/SSL4EO-S12.

연구 동기 및 목표

• ImageNet-like 데이터 및 소규모 RS 데이터셋에 대한 의존성을 극복하기 위한 지구관측 자기지도 사전 학습 동기 부여.
• 4계절 스냅샷이 포함되고 겹치는 패치가 없는 글로벌 다중모달 다중시계열 EO 말뭉치(Sentinel-1/2)를 구축합니다.
• 대표적인 SSL 방법을 다양한 다운스트림 RS 작업에 대해 평가하여 전이 가능성과 벤치마크 성능을 확립합니다.
• RS 전용 증강(다중 센서, 다중시계열, 대기 보정)이 SSL 이득을 증대시키는 것을 보여줍니다

제안 방법

• SSL4EO-S12를 전역 위치 251,079개를 샘플링하고 4계절에 걸쳐 Significant overlap 없이 Sentinel-1 SAR 및 Sentinel-2 optical 데이터(L1C/L2A)를 수집하여 구성합니다.
• Sentinel-2 L1C를 기본 입력으로 사용하여 SSL4EO-S12 데이터에서 네 가지 SSL 방법(MoCo-v2/v3, DINO, MAE, data2vec)을 사전 학습합니다.
• MoCo 및 DINO를 활용하기 위해 Multi-Temporal RandomSeasonContrast를 사용하여 계절 변화를 활용합니다; MAE와 data2vec의 경우 패치당 임의의 계절을 할당합니다.
• 다운스트림 작업으로의 전이 성능을 EuroSAT, BigEarthNet, So2Sat-LCZ42(장면 분류); DFC2020 및 OSCD(분할/변화 탐지)에 대해 선형 탐지 및 미세 조정을 통해 평가합니다.
• 다중모달성, 계절 정보, 대기 보정, 그리고 사전 학습 규모가 미치는 영향을 분석하기 위한 분석적 실험을 수행합니다.

실험 결과

연구 질문

• RQ1 대규모 SSL 사전 학습이 글로벌 다중모달 다중시계열 EO 데이터에서 다운스트림 RS 작업에 얼마나 효과적인가?
• RQ2 RS-특화 증강(다중 센서, 다중시계열, 대기 보정)이 SSL 전이 성능을 개선하는가?
• RQ3 SSL4EO-S12가 선형 프로빙 및 미세 조정에서 다른 RS 사전 학습 데이터셋(SEN12MS, SeCo, ImageNet 등)과 어떻게 비교되는가?
• RQ4 학습 데이터 규모가 다운스트림 성능 및 포화 현상에 어떤 영향을 미치는가?
• RQ5 멀티모달(S1+S2) 사전 학습이 단일 모달 사전 학습에 비해 BigEarthNet 및 관련 데이터셋에서 어떤 이점을 제공하는가?

주요 결과

• SSL4EO-S12는 여러 SSL 방법(MoCo-v2, DINO, MAE, data2vec)에 대해 효과적인 자기지도 사전 학습을 가능하게 한다.
• SSL4EO-S12에서의 사전 학습은 기존의 RS 사전 학습 데이터셋에 비해 여러 작업에서 다운스트림 성능을 향상시킨다.
• 다중센서, 다중시계열, 대기 보정 등 RS-전용 증강은 전이 성능에 현저한 이점을 제공한다.
• 멀티모달 사전 학습(S1+S2)은 단일 모달에 비해 다운스트림 BigEarthNet 및 관련 데이터셋에서 추가 개선을 제공한다.
• 레이블이 제한된 상태에서의 미세 조정은 SSL4EO-S12 사전 학습의 이점을 크게 얻으며, 때로는 더 많은 라벨을 가진 완전 감독 모델을 능가한다.
• 일정 규모를 넘는 사전 학습 데이터 증가에 따른 성능 이득에는 포화 현상이 관찰되며, 이는 모델 규모의 영향에 의해 좌우된다.