[논문 리뷰] SatMAE: Pre-training Transformers for Temporal and Multi-Spectral Satellite Imagery

Yezhen Cong, Samar Khanna외 7명|arXiv (Cornell University)|2022. 07. 17.

Remote-Sensing Image Classification인용 수 117

한 줄 요약

SatMAE는 시간적 및 다중 스펙트럼 위성 데이터에 대해 Masked Autoencoders를 사용해 트랜스포머를 사전학습하고, 시간 및 스펙트럴 인코딩으로 하향식 원격 감지 작업의 성능을 향상시킵니다.

ABSTRACT

Unsupervised pre-training methods for large vision models have shown to enhance performance on downstream supervised tasks. Developing similar techniques for satellite imagery presents significant opportunities as unlabelled data is plentiful and the inherent temporal and multi-spectral structure provides avenues to further improve existing pre-training strategies. In this paper, we present SatMAE, a pre-training framework for temporal or multi-spectral satellite imagery based on Masked Autoencoder (MAE). To leverage temporal information, we include a temporal embedding along with independently masking image patches across time. In addition, we demonstrate that encoding multi-spectral data as groups of bands with distinct spectral positional encodings is beneficial. Our approach yields strong improvements over previous state-of-the-art techniques, both in terms of supervised learning performance on benchmark datasets (up to $\uparrow$ 7%), and transfer learning performance on downstream remote sensing tasks, including land cover classification (up to $\uparrow$ 14%) and semantic segmentation. Code and data are available on the project website: https://sustainlab-group.github.io/SatMAE/

연구 동기 및 목표

• 라벨링 데이터가 드문 위성 이미지에 대해 비지도 학습 기반의 사전 학습을 촉진한다.
• 시간 임베딩과 시간이 흐름에 따른 마스킹을 통해 시간 정보를 활용하는 SatMAE를 제안한다.
• 밴드를 스펙트럴 위치 인코딩으로 그룹화하여 다중 스펙트럼 인코딩을 제안한다.
• 벤치마크 데이터셋과 하위 작업에서 최신 방법보다 향상된 성능을 입증한다.

제안 방법

• Masked Autoencoder (MAE)를 확장하여 시간적 위성 이미지 시퀀스와 다중 스펙트럼 데이터를 처리한다.
• 연도, 월, 시각 정보를 공간 패치 임베딩과 혼합하는 시간 인코딩을 도입한다.
• 시간에 걸친 마스킹 전략(일관성 있는 마스킹 vs 독립적인 마스킹)을 적용하여 시간 추론을 촉진한다.
• 별도의 패치 임베딩 및 스펙트럼 인코딩으로 밴드를 그룹화하여 다중 스펙트럼 인코딩을 구현한다(SatMAE+Group).
• 사전 학습 데이터셋(fMoW, fMoW-Sentinel)과 하위 작업(토지 피복, 분할, 다중 레이블 분류)을 평가하여 기존 방법 대비 향상을 입증한다.

실험 결과

연구 질문

• RQ1 SatMAE가 시간적 위성 이미지에 대한 자기지도 사전 학습을 개선할 수 있는가?
• RQ2 시간 및 스펙트럼 차원이 하향식 원격 감지 작업으로의 전이를 극대화하도록 어떻게 인코딩되어야 하는가?
• RQ3 시간 인코딩과 마스킹 전략이 불규칙한 시간 샘플링 및 계절 변동에 대한 강건성을 향상시키는가?
• RQ4 밴드를 그룹화하고 스펙트럴 인코딩을 사용하는 것이 다중 스펙트럼 사전 학습에 이익을 주는가?

주요 결과

• SatMAE는 감독 벤치마크에서 최대 7%의 향상을, 전이 학습 원격 감지 작업에서 최대 14%의 향상을 보인다.
• 시간 인코딩과 독립 마스킹이 있는 Temporal SatMAE가 시간적 fMoW 데이터에서 강한 이득을 달성한다.
• fMoW-Sentinel에서 독립 마스킹을 사용한 SatMAE+Group이 ResNet-152 및 MoCo 기본 모델을 능가한다.
• 밴드를 그룹화하고 스펙트럼 인코딩을 사용하면 성능이 향상되고 밴드별 정보를 보존하며, 특히 ViT-Large가 효과적이다.
• fMoW Sentinel에서의 사전 학습은 토지 피복 및 분할 작업에서 하위 성능을 향상시킨다(NAIP, EuroSAT, SpaceNet, BigEarthNet).