[论文解读] Evaluating Self and Semi-Supervised Methods for Remote Sensing Segmentation Tasks

Chaitanya Patel, Shashank Sharma+2 more|arXiv (Cornell University)|Nov 19, 2021

Advanced Image and Video Retrieval Techniques被引用 9

一句话总结

该论文在三个任务——河床、土地覆盖和洪水制图中，使用未标记的卫星图像，评估了自监督（SimCLR）和半监督（FixMatch）学习方法在遥感图像分割中的表现。结果表明，这两种方法在低标签数据和领域偏移条件下均显著提升了模型的泛化能力，其中FixMatch在数据有限的情况下实现了最高6.0%的绝对IoU提升，尤其在测试新地理区域时表现更优。

ABSTRACT

Self- and semi-supervised machine learning techniques leverage unlabeled data for improving downstream task performance. These methods are especially valuable for remote sensing tasks where producing labeled ground truth datasets can be prohibitively expensive but there is easy access to a wealth of unlabeled imagery. We perform a rigorous evaluation of SimCLR, a self-supervised method, and FixMatch, a semi-supervised method, on three remote sensing tasks: riverbed segmentation, land cover mapping, and flood mapping. We quantify performance improvements on these remote sensing segmentation tasks when additional imagery outside of the original supervised dataset is made available for training. We also design experiments to test the effectiveness of these techniques when the test set is domain shifted to sample different geographic areas compared to the training and validation sets. We find that such techniques significantly improve generalization performance when labeled data is limited and there are geographic domain shifts between the training data and the validation/test data.

研究动机与目标

• 评估自监督（SimCLR）和半监督（FixMatch）学习在有限标注数据下提升遥感任务分割性能的有效性。
• 探究当测试数据来自与训练数据不同的地理区域时（即领域偏移），这些方法是否能增强模型的泛化能力。
• 在低样本和领域偏移设置下，比较在ImageNet、SimCLR和随机初始化上预训练的模型性能。
• 评估来自不同地理区域的未标记数据对现实遥感应用中模型鲁棒性和可迁移性的影响。

提出的方法

• 微调在大规模未标记遥感图像（Sentinel-1, NAIP）上使用SimCLR预训练的分割模型，以改善特征表示学习。
• 应用FixMatch这一半监督学习方法，通过在未标记数据的弱增强和强增强视图之间施加一致性正则化，以提升泛化能力。
• 在三个遥感分割基准上进行训练：切萨皮克湾土地覆盖（10万张图像）、河床分割（1万张图像）和Sen1Floods11洪水制图（1.1万张图像）。
• 在两种设置下评估性能：(1) 独立同分布（IID）测试划分，(2) 领域偏移测试划分，其中测试区域在地理上不同于训练数据。
• 使用正类（如水体、土地覆盖）的像素级平均交并比（IoU）作为主要评估指标，确保在不同图像尺寸和水体比例下的一致性。
• 比较多种预训练和半监督微调配置：监督学习(ImageNet)、监督学习(SimCLR)、FixMatch(随机初始化)、FixMatch(ImageNet)和FixMatch(SimCLR)。

实验结果

研究问题

• RQ1 当仅有少量标注数据时，自监督（SimCLR）和半监督（FixMatch）方法如何提升分割性能？
• RQ2 当测试数据来自与训练数据不同的地理区域时，这些方法在多大程度上增强了模型的泛化能力？
• RQ3 在低数据场景下，通过SimCLR在未标记遥感数据上进行预训练，是否比在ImageNet上预训练能带来更好的下游性能？
• RQ4 在标注数据充足的情况下，半监督学习（FixMatch）相较于监督微调在何种条件下会表现更差？
• RQ5 在具有不同数据分布和领域偏移的遥感分割任务中，这些方法的性能如何变化？

主要发现

• 在Sen1Floods11的领域偏移划分中，FixMatch(Random)在10%标注数据下相比Supervised(Random)将IoU提升了6.0%的绝对值，表明在分布偏移下具有强大的泛化能力。
• 在Sen1Floods11的10%标注数据设置下，FixMatch(ImageNet)相比Supervised(ImageNet)实现了4.55%的绝对IoU提升，表明其有效利用了未标记数据。
• 在切萨皮克湾土地覆盖数据集中，FixMatch(SimCLR)的性能与Supervised(SimCLR)相当，但未超过其性能，表明当预训练已足够有效时，无额外收益。
• 在IID划分中，当使用100%标注数据时，FixMatch(SimCLR)相比Supervised(SimCLR)性能下降了5.4%，表明当标注数据已足够时，半监督方法可能损害性能。
• 在Sen1Floods11的10%标注数据划分中，FixMatch(Random)相比Supervised(Random)提升了2.5% IoU，而FixMatch(ImageNet)相比其监督基线提升了2.5%。
• 研究发现，自监督和半监督学习带来的性能增益在低标签和领域偏移条件下最为显著，证实了其在存在地理分布偏移的真实世界部署场景中的价值。