[论文解读] GenCo: An Auxiliary Generator from Contrastive Learning for Enhanced Few-Shot Learning in Remote Sensing

Jing Wu, Naira Hovakimyan+1 more|arXiv (Cornell University)|Jul 27, 2023

Domain Adaptation and Few-Shot LearningComputer Science被引用 3

一句话总结

本文提出GenCo，一种基于辅助生成器的对比学习框架，通过在无标签航空影像上进行预训练，并在微调过程中生成合成特征样本，提升了遥感领域的 few-shot 学习性能。在Agriculture-Vision和EuroSAT数据集上，该方法实现了当前最优性能，即使每类仅有10个标注样本，也优于ImageNet预训练方法。

ABSTRACT

Classifying and segmenting patterns from a limited number of examples is a significant challenge in remote sensing and earth observation due to the difficulty in acquiring accurately labeled data in large quantities. Previous studies have shown that meta-learning, which involves episodic training on query and support sets, is a promising approach. However, there has been little attention paid to direct fine-tuning techniques. This paper repurposes contrastive learning as a pre-training method for few-shot learning for classification and semantic segmentation tasks. Specifically, we introduce a generator-based contrastive learning framework (GenCo) that pre-trains backbones and simultaneously explores variants of feature samples. In fine-tuning, the auxiliary generator can be used to enrich limited labeled data samples in feature space. We demonstrate the effectiveness of our method in improving few-shot learning performance on two key remote sensing datasets: Agriculture-Vision and EuroSAT. Empirically, our approach outperforms purely supervised training on the nearly 95,000 images in Agriculture-Vision for both classification and semantic segmentation tasks. Similarly, the proposed few-shot method achieves better results on the land-cover classification task on EuroSAT compared to the results obtained from fully supervised model training on the dataset.

研究动机与目标

• 通过提升遥感图像分类与语义分割任务的 few-shot 学习性能，应对数据稀缺的挑战。
• 克服现有对比学习方法主要针对自然场景图像优化、难以泛化至遥感数据的局限性。
• 开发一种利用大量无标签遥感数据学习鲁棒、可迁移表征的预训练策略，以服务于下游 few-shot 任务。
• 在预训练阶段引入辅助生成器，合成多样化的特征变体，丰富表示学习过程，提升在标签稀缺条件下的泛化能力。
• 证明在领域特定的遥感数据（如Agriculture-Vision）上进行预训练，相比ImageNet或COCO预训练，能获得更优的 few-shot 泛化性能。

提出的方法

• 提出两阶段训练框架：先进行对比学习预训练，再进行 few-shot 微调，微调阶段冻结编码器权重。
• 引入辅助生成器网络，在对比学习预训练过程中学习从编码特征中生成多样化的正样本特征变体。
• 利用生成器在特征空间中创建额外的正样本对，增强对比信号，提升表示的鲁棒性。
• 在Extended Agriculture-Vision (AV+)数据集上使用InfoNCE等对比学习目标对主干网络和生成器进行预训练，对输入图像应用数据增强。
• 在微调阶段，利用预训练的生成器在潜在空间中生成合成特征样本，丰富有限的标注数据，提升泛化能力。
• 仅微调分类头或分割解码器，同时保持编码器和生成器冻结，实现对 few-shot 场景的高效适应。

实验结果

研究问题

• RQ1 与标准预训练方法相比，基于生成器的对比学习框架是否能提升遥感数据集上的 few-shot 分类与分割性能？
• RQ2 在领域特定的遥感数据（如AV+）上进行预训练，是否能带来比在ImageNet或COCO等通用图像数据集上预训练更好的 few-shot 泛化性能？
• RQ3 在预训练阶段通过辅助生成器合成特征变体，能在多大程度上增强表示学习与下游 few-shot 性能？
• RQ4 当仅有少量标注样本时，该方法与完全监督训练相比表现如何？
• RQ5 GenCo的性能增益是否在不同主干网络架构及不同 few-shot 设置（1-shot、5-shot、10-shot）下，于多样化的遥感基准上保持一致？

主要发现

• 在Agriculture-Vision数据集上，GenCo在10-shot分类任务中，对多个主干网络的性能均优于ImageNet预训练1至6个百分点。
• 在Agriculture-Vision语义分割任务中，GenCo在相同 few-shot 设置下，mIoU相比COCO预训练特征提升5至7个百分点。
• 在EuroSAT数据集中，GenCo使用ResNet-18在10-shot分类任务中达到67.92%准确率，优于ImageNet预训练1.02个百分点，并超越在AV+上预训练的MoCo-V2、SimSiam和SimCLR。
• 仅使用每类10张标注图像，GenCo在EuroSAT上达到66.90%准确率，比在27,000张图像上训练的全监督模型高出3.66个百分点。
• 该方法在不同主干网络尺寸（ResNet-18、-50、-101）下均保持一致的性能增益，1-shot和5-shot设置下性能下降极小，表明在极端标签稀缺条件下具备强大泛化能力。
• 辅助生成器显著提升了表示质量，即使在微调时仅使用极少标注数据，性能仍明显提升，证明其在数据稀缺的遥感应用中具有重要价值。