[论文解读] Embedding Earth: Self-supervised contrastive pre-training for dense land cover classification

Michail Tarasiou, Stefanos Zafeiriou|arXiv (Cornell University)|Mar 11, 2022

Remote-Sensing Image Classification被引用 6

一句话总结

本文提出 Embedding Earth，一种利用海量未标注卫星影像进行密集地表覆盖分类的自监督对比预训练方法。通过在多样化全球区域上进行预训练，该方法在下游分割任务中实现了 mIoU 最高 25% 的绝对提升，尤其在标注数据稀缺时表现显著，展现出在地理上截然不同的区域间强大的泛化能力。

ABSTRACT

In training machine learning models for land cover semantic segmentation there is a stark contrast between the availability of satellite imagery to be used as inputs and ground truth data to enable supervised learning. While thousands of new satellite images become freely available on a daily basis, getting ground truth data is still very challenging, time consuming and costly. In this paper we present Embedding Earth a self-supervised contrastive pre-training method for leveraging the large availability of satellite imagery to improve performance on downstream dense land cover classification tasks. Performing an extensive experimental evaluation spanning four countries and two continents we use models pre-trained with our proposed method as initialization points for supervised land cover semantic segmentation and observe significant improvements up to 25% absolute mIoU. In every case tested we outperform random initialization, especially so when ground truth data are scarse. Through a series of ablation studies we explore the qualities of the proposed approach and find that learnt features can generalize between disparate regions opening up the possibility of using the proposed pre-training scheme as a replacement to random initialization for Earth observation tasks. Code will be uploaded soon at https://github.com/michaeltrs/DeepSatModels.

研究动机与目标

• 解决地表覆盖分割任务中卫星影像数据丰富与真实标注数据稀缺、成本高昂之间的关键不平衡问题。
• 开发一种自监督预训练框架，利用大规模未标注地球观测数据，以提升下游分割性能。
• 探究在某一地理区域上进行预训练是否能有效泛化至不同区域的下游任务。
• 评估预训练数据规模（包括空间范围，即感兴趣区域 AOI，和时间范围，即感兴趣时期 POI）对下游性能的影响。
• 证明自监督预训练在低数据场景下可优于随机初始化，尤其在数据稀缺时，为监督预训练提供一种可行的替代方案。

提出的方法

• 设计一个端到端的自监督对比学习框架，用于利用卫星影像进行像素级表征学习。
• 应用实例判别和对比损失，通过对比同一图像块的正样本和负样本视图，学习不变特征。
• 在来自全球多样化区域的大规模未标注卫星数据上预训练卷积神经网络（例如基于 ResNet 的编码器）。
• 在有限标注数据的下游地表覆盖语义分割任务上微调预训练的编码器。
• 采用数据增强策略（如随机裁剪、颜色抖动、旋转）生成对比学习的正样本和负样本视图。
• 使用对比目标训练模型，以最大化同一块图像不同视图之间的匹配度，同时拉大不同图像块视图之间的距离。

实验结果

研究问题

• RQ1 在大规模未标注卫星影像上进行自监督对比预训练，能否显著提升下游密集地表覆盖分割性能？
• RQ2 预训练数据规模（以感兴趣区域 AOI 和感兴趣时期 POI 衡量）如何影响下游 mIoU？
• RQ3 在与下游任务不同地理区域上进行预训练，是否会导致性能下降或带来泛化优势？
• RQ4 在低数据场景下，该方法与随机初始化和监督预训练相比表现如何？
• RQ5 所学习的特征是否能跨多样化地表覆盖类型和地理区域实现泛化，从而支持跨大陆的迁移学习？

主要发现

• 所提出的自监督对比预训练方法在下游地表覆盖分割任务中，与随机初始化相比，mIoU 最高提升 25% 的绝对值。
• 当训练数据有限时，性能提升最为显著，证明了该方法在低数据场景下的有效性。
• 扩大预训练数据集规模——无论是扩展感兴趣区域（AOI）还是延长感兴趣时期（POI）——均能持续提升下游分割性能。
• 在与下游任务不同国家或区域上进行预训练不会导致性能下降；事实上，泛化效果良好，表明具有强大的跨区域迁移能力。
• 在所有评估区域（德国、法国、加纳、南苏丹）中，该方法均优于随机初始化和监督预训练基线。
• 消融实验确认，即使在无任何监督的情况下，对比目标仍能有效学习到语义上有意义且可迁移的特征。