[论文解读] Cross-domain Few-shot Segmentation with Transductive Fine-tuning

Yuhang Lu, Xinyi Wu+2 more|arXiv (Cornell University)|Nov 27, 2022

Domain Adaptation and Few-Shot Learning被引用 4

一句话总结

本文提出了一种用于跨域少样本分割的归纳微调方法，通过利用支持标签隐式监督未标记查询图像，改进了原型少样本分割（FSS）模型。通过引入不确定性感知对比损失对类别原型进行对齐，并结合监督损失与边界正则化，该方法有效弥合了自然图像、遥感图像和医学图像之间的域差距，显著提升了性能，且无需额外标注。

ABSTRACT

Few-shot segmentation (FSS) expects models trained on base classes to work on novel classes with the help of a few support images. However, when there exists a domain gap between the base and novel classes, the state-of-the-art FSS methods may even fail to segment simple objects. To improve their performance on unseen domains, we propose to transductively fine-tune the base model on a set of query images under the few-shot setting, where the core idea is to implicitly guide the segmentation of query images using support labels. Although different images are not directly comparable, their class-wise prototypes are desired to be aligned in the feature space. By aligning query and support prototypes with an uncertainty-aware contrastive loss, and using a supervised cross-entropy loss and an unsupervised boundary loss as regularizations, our method could generalize the base model to the target domain without additional labels. We conduct extensive experiments under various cross-domain settings of natural, remote sensing, and medical images. The results show that our method could consistently and significantly improve the performance of prototypical FSS models in all cross-domain tasks.

研究动机与目标

• 解决当新类别来自与基础训练数据不同域时，少样本分割模型性能下降的问题。
• 通过在微调过程中引入未标记查询图像，缓解少样本微调中的过拟合问题。
• 利用支持标签的隐式监督，提升原型FSS模型在未见域上的泛化能力。
• 开发一种半监督微调策略，结合已标注的支持图像与未标注的查询图像，实现跨域特征原型对齐。
• 在自然图像、遥感图像和医学图像等多种域上验证该方法的有效性。

提出的方法

• 在归纳设置下，对预训练的原型FSS模型进行微调，使用支持图像（已标注）与查询图像（未标注）的组合。
• 使用基础模型提取特征，并在特征空间中通过聚类生成细粒度原型。
• 引入不确定性感知对比损失，通过对比其类别级表示，对齐查询图像与支持图像的原型。
• 利用不确定性因子动态调整损失权重，以降低噪声或模糊查询原型的影响。
• 在支持图像上应用监督交叉熵损失，在查询掩码上应用无监督边界损失，以正则化分割质量。
• 通过结合对比损失、交叉熵损失与边界损失的多目标损失函数优化模型，实现稳定且高效的适应。

实验结果

研究问题

• RQ1 当基础类别与新类别之间存在域差异时，归纳微调能否提升少样本分割性能？
• RQ2 支持标签的隐式监督在微调过程中对未标记查询图像的分割引导效果如何？
• RQ3 不确定性感知的原型对齐是否能提升跨域少样本分割中的鲁棒性与泛化能力？
• RQ4 与标准微调及其他归纳方法相比，该方法在跨域FSS基准上的表现如何？
• RQ5 在真实少样本分割场景中，支持图像的选择对所提方法性能有何影响？

主要发现

• 所提方法在所有测试的跨域设置中（包括自然图像、遥感图像和医学图像）均显著提升了原型FSS模型的性能。
• 在PASCAL-5i基准上，当使用ResNet-50特征空间中聚类中心作为代表性支持图像时，该方法实现了61.2%的平均IoU。
• 性能受支持图像选择影响显著，最佳支持图像相比最差图像在所有类别上可使IoU提升高达49.4%。
• 在深度特征空间中使用聚类中心作为代表性支持图像，相比随机选择图像，平均IoU提升4.9%。
• 该方法在跨域少样本分割任务中始终优于标准监督微调和其他归纳基线方法。
• 不确定性感知对比损失有效降低了噪声或模糊查询原型的影响，提升了模型的稳定性和泛化能力。