Skip to main content
QUICK REVIEW

[论文解读] SatMAE: Pre-training Transformers for Temporal and Multi-Spectral Satellite Imagery

Yezhen Cong, Samar Khanna|arXiv (Cornell University)|Jul 17, 2022
Remote-Sensing Image ClassificationEngineering被引用 117
一句话总结

SatMAE 在 temporal 与 multi-spectral 卫星数据上对 transformer 进行预训练,使用带有时间与光谱编码的 Masked Autoencoders,提升下游遥感任务的性能。

ABSTRACT

Unsupervised pre-training methods for large vision models have shown to enhance performance on downstream supervised tasks. Developing similar techniques for satellite imagery presents significant opportunities as unlabelled data is plentiful and the inherent temporal and multi-spectral structure provides avenues to further improve existing pre-training strategies. In this paper, we present SatMAE, a pre-training framework for temporal or multi-spectral satellite imagery based on Masked Autoencoder (MAE). To leverage temporal information, we include a temporal embedding along with independently masking image patches across time. In addition, we demonstrate that encoding multi-spectral data as groups of bands with distinct spectral positional encodings is beneficial. Our approach yields strong improvements over previous state-of-the-art techniques, both in terms of supervised learning performance on benchmark datasets (up to $\uparrow$ 7%), and transfer learning performance on downstream remote sensing tasks, including land cover classification (up to $\uparrow$ 14%) and semantic segmentation. Code and data are available on the project website: https://sustainlab-group.github.io/SatMAE/

研究动机与目标

  • 在标注数据稀缺的情况下,推动卫星影像的无监督预训练。
  • 提出 SatMAE,通过时序嵌入与跨时 masking 来利用时序信息。
  • 提出通过将波段分组并使用光谱位置编码来进行多光谱编码。
  • 在基准数据集和下游任务上展示超越最先进方法的改进。

提出的方法

  • 将 Masked Autoencoder (MAE) 扩展以处理时序卫星图像序列和多光谱数据。
  • 引入将年、月和小时信息与空间补丁嵌入混合的时序编码。
  • 在时间上应用掩码策略(一致性掩码 vs 独立掩码)以促进时序推理。
  • 通过将光谱波段分组并使用单独的补丁嵌入和光谱编码来实现多光谱编码(SatMAE+Group)。
  • 在预训练数据集(fMoW、fMoW-Sentinel)和下游任务(土地覆盖、分割、多标签分类)上进行评估,展示优于先前方法的改进。

实验结果

研究问题

  • RQ1SatMAE 能否提升时序卫星影像的自监督预训练?
  • RQ2时序和光谱维度应如何编码以最大程度提升对下游遥感任务的迁移?
  • RQ3时序编码和掩码策略是否能提高对不规则时间采样和季节性变化的鲁棒性?
  • RQ4将光谱波段分组并使用光谱编码是否有利于多光谱的预训练?

主要发现

  • SatMAE 在有监督基准上提升高达 7%,在迁移学习的遥感任务上提升高达 14%。
  • 带有时序编码和独立掩码的 Temporal SatMAE 在时序 fMoW 数据上取得显著提升。
  • 在 fMoW-Sentinel 上使用独立掩码的 SatMAE+Group 的表现超越 ResNet-152 和 MoCo 基线。
  • 将光谱波段分组并使用光谱编码可提升性能并保留波段特定信息,其中 ViT-Large 特别有效。
  • 在 fMoW Sentinel 上进行预训练可提升下游在土地覆盖与分割任务(NAIP、EuroSAT、SpaceNet、BigEarthNet)上的性能。

阅读本论文

在 Nubint 阅读器中打开原文,边读边就任意段落提问。

在 Nubint 中阅读本论文

本解读由 AI 根据论文原文生成,引用前请核对原文。