[论文解读] Few-Shot Segmentation with Global and Local Contrastive Learning

Weide Liu, Zhonghua Wu+5 more|arXiv (Cornell University)|Aug 11, 2021

Advanced X-ray and CT Imaging参考文献 34被引用 14

一句话总结

本文提出查询引导网络（QG-Net），一种少样本分割方法，通过全局和局部对比学习独立提取查询图像先验，将查询特征学习与支持图像解耦。通过在未标注的查询图像上联合使用全局-局部对比损失训练先验提取器，该方法生成具有信息量的先验区域图，增强与支持特征的交叉注意力，从而在 PASCAL-5i 和 COCO 数据集上实现新的 SOTA 性能，且无需额外技巧。

ABSTRACT

In this work, we address the challenging task of few-shot segmentation. Previous few-shot segmentation methods mainly employ the information of support images as guidance for query image segmentation. Although some works propose to build cross-reference between support and query images, their extraction of query information still depends on the support images. We here propose to extract the information from the query itself independently to benefit the few-shot segmentation task. To this end, we first propose a prior extractor to learn the query information from the unlabeled images with our proposed global-local contrastive learning. Then, we extract a set of predetermined priors via this prior extractor. With the obtained priors, we generate the prior region maps for query images, which locate the objects, as guidance to perform cross interaction with support features. In such a way, the extraction of query information is detached from the support branch, overcoming the limitation by support, and could obtain more informative query clues to achieve better interaction. Without bells and whistles, the proposed approach achieves new state-of-the-art performance for the few-shot segmentation task on PASCAL-5$^{i}$ and COCO datasets.

研究动机与目标

• 为解决现有少样本分割方法仅依赖支持图像引导、未能利用查询图像内在线索的局限性。
• 通过将查询特征学习与支持分支解耦，提升少样本分割的泛化能力。
• 开发一种自监督先验提取器，从未标注的查询图像中学习判别性物体级表征。
• 通过独立学习的先验区域图，增强查询与支持特征之间的交叉注意力。

提出的方法

• 使用未标注的查询图像，结合全局与局部对比学习训练先验提取器，以学习预设的物体先验。
• 全局对比损失通过最小化同一图像不同增强版本之间的特征距离，学习全局表征。
• 局部对比损失应用于通过 Slic 生成的图像块，以区分同一图像中的不同物体，促进局部特征的判别性。
• 先验提取器生成的先验区域图可突出查询图像中潜在的物体位置，且与支持图像无关。
• 这些先验区域图用于引导与支持特征的交叉注意力，提升交互质量。
• 该方法采用 VGG16、ResNet50 和 ResNet101 作为骨干网络，评估时使用 321×321 和 473×473 的图像尺寸。

实验结果

研究问题

• RQ1 自监督对比学习能否在少样本分割中提取比支持引导方法更丰富的查询先验？
• RQ2 将查询特征学习与支持图像解耦，是否能提升分割性能与泛化能力？
• RQ3 全局与局部对比学习组件在先验表征质量上各自及协同发挥何种作用？
• RQ4 何种图像块生成方法（如 Slic 与 Felzenszwalb）能生成最具判别性的局部特征用于先验学习？
• RQ5 先验区域图与真实物体区域的重叠程度，相较于引导区域图，如何？

主要发现

• 所提方法在 PASCAL-5i 数据集上达到新的 SOTA 性能，在所有骨干网络与图像尺寸配置下均优于此前 SOTA 方法。
• 在 MS COCO 数据集上，QG-Net 在 1-shot 和 5-shot 设置下分别比 PFENet 提高 5.9% 和 7.4% 的 mIoU，尽管输入尺寸更小（473×473）。
• 使用 Slic 进行图像块生成的性能优于 Felzenszwalb 方法，且在先验提取器训练 1000 个周期时达到最优结果。
• 先验区域图的召回率（Recall_p,gt）高于引导区域图（Recall_g,gt），表明先验图覆盖了更多真实物体区域。
• 消融实验表明，联合使用全局与局部对比损失可获得最佳性能，证明二者在学习判别性先验中具有互补作用。
• 失败案例揭示了在区分外观相似物体（如人与泰迪熊）以及检测小物体方面存在局限，凸显细粒度与小尺度识别的挑战。