[论文解读] SSL4EO-L: Datasets and Foundation Models for Landsat Imagery

Adam J. Stewart, Nils Lehmann+7 more|arXiv (Cornell University)|Jun 15, 2023

Geochemistry and Geologic Mapping被引用 6

一句话总结

本论文提出了SSL4EO-L，这是首个针对陆地卫星影像的自监督学习数据集，包含来自陆地卫星4–9号传感器及产品级别的500万张图像块。该数据集采用对比学习（MoCo）方法对基础模型进行预训练，在云检测和作物分类等语义分割任务上实现了最先进性能。完整代码、模型和数据集已通过TorchGeo开源，以确保可复现性并推动更广泛的科学影响。

ABSTRACT

The Landsat program is the longest-running Earth observation program in history, with 50+ years of data acquisition by 8 satellites. The multispectral imagery captured by sensors onboard these satellites is critical for a wide range of scientific fields. Despite the increasing popularity of deep learning and remote sensing, the majority of researchers still use decision trees and random forests for Landsat image analysis due to the prevalence of small labeled datasets and lack of foundation models. In this paper, we introduce SSL4EO-L, the first ever dataset designed for Self-Supervised Learning for Earth Observation for the Landsat family of satellites (including 3 sensors and 2 product levels) and the largest Landsat dataset in history (5M image patches). Additionally, we modernize and re-release the L7 Irish and L8 Biome cloud detection datasets, and introduce the first ML benchmark datasets for Landsats 4-5 TM and Landsat 7 ETM+ SR. Finally, we pre-train the first foundation models for Landsat imagery using SSL4EO-L and evaluate their performance on multiple semantic segmentation tasks. All datasets and model weights are available via the TorchGeo (https://github.com/microsoft/torchgeo) library, making reproducibility and experimentation easy, and enabling scientific advancements in the burgeoning field of remote sensing for a multitude of downstream applications.

研究动机与目标

• 为解决陆地卫星影像缺乏基础模型和大规模预训练数据集的问题，以限制深度学习在遥感中的应用。
• 通过创建针对陆地卫星传感器的大规模自监督预训练数据集，克服地球观测中小样本标注数据集的挑战。
• 通过使用预训练模型，提升下游任务（如云检测和作物分类）中的迁移学习性能。
• 对旧版数据集（L7 Irish，L8 Biome）进行现代化重构并重新发布，并为陆地卫星4–5号TM和7号ETM+ SR传感器引入新的基准数据集。
• 通过在TorchGeo库中开源所有模型、数据集和训练代码，确保可复现性，并推动社区范围内的发展。

提出的方法

• 作者构建了SSL4EO-L，一个包含500万张图像块的数据集，覆盖陆地卫星4–9号，涵盖多种传感器（MSS、TM、ETM+、OLI/TIRS）和产品级别（TOA和SR）。
• 采用基于MoCo（动量对比）的对比自监督学习方法，在SSL4EO-L上对ResNet-18主干网络进行预训练，学习无需标签的通用表征。
• 将预训练模型在下游语义分割任务（如云检测（L7 Irish）和作物类型分类（CDL））上进行微调，采用U-Net架构。
• 使用标准分割指标（如IoU、F1-score）评估性能，并与传统的像素级分类器（如随机森林）进行对比。
• 为陆地卫星4–5号TM和7号ETM+ SR传感器创建了基准数据集，支持跨传感器和跨产品级别的公平比较。
• 所有数据集、模型和训练脚本均通过TorchGeo库发布，以确保开放获取、可复现性和社区再利用。

Figure 1: Spectral wavelengths and spatial resolutions of each band captured by the Landsat sensors used in our study. Numbers are band indices and colors are for visualization purposes only. As each sensor has a different number of spectral bands, spatial resolutions, and wavelengths, it is not pos

实验结果

研究问题

• RQ1 与随机森林等传统方法相比，在大规模、多样化的陆地卫星影像数据集上进行自监督预训练，是否能显著提升下游语义分割任务的性能？
• RQ2 在SSL4EO-L上预训练的基础模型，在不同陆地卫星传感器（如TM、ETM+、OLI）和产品级别（TOA与SR）之间是否具有良好的泛化能力？
• RQ3 在仅使用有限标注数据进行微调的情况下，SSL4EO-L的预训练在云检测和作物分类任务上的性能提升程度如何？
• RQ4 与基于哨兵-2或商业星座的现有自监督学习数据集相比，SSL4EO-L在遥感领域的性能特征有何差异？
• RQ5 即使在微调数据中未包含明确示例，所提出的预训练模型是否能对罕见或代表性不足的类别（如冬小麦、休闲地）实现有效泛化？

主要发现

• 在云检测和作物分类任务中，基于SSL4EO-L预训练的基础模型显著优于传统的像素级分类器（如决策树和随机森林）。
• 在L7 Irish数据集上微调的基于MoCo的模型在云检测任务中表现优异，某些情况下甚至比人工标注的真值数据更准确地识别出云和薄云区域。
• 模型展现出强大的零样本泛化能力，即使在没有训练样本的情况下也能正确识别玉米和大豆等常见作物类型，但在冬小麦和休闲地等季节性作物上表现较弱。
• 由于SSL4EO-L预训练数据中云影出现频率较低，模型在云影检测上表现不稳定，凸显了数据覆盖范围中的关键局限性。
• 为陆地卫星4–5号TM和7号ETM+ SR创建的基准数据集，使得对所有现代陆地卫星传感器和产品级别的直接、公平比较成为可能，填补了遥感社区中的关键空白。
• 所有数据集、模型和训练代码均已通过TorchGeo公开发布，支持可复现性，并加速了地球观测与深度学习领域的未来研究。

Figure 2: Timeline of all Landsat missions. Crosshatched regions represent partial or complete sensor failure, including electrical issues with RBV on Landsat 1 and SLC-off on Landsat 7. Each bar ranges from launch date to decommissioning date. Note that satellites may be placed in standby mode befo