[论文解读] Self-Support Few-Shot Semantic Segmentation

Qi Fan, Wenjie Pei+2 more|arXiv (Cornell University)|Jul 23, 2022

Advanced Neural Network Applications被引用 6

一句话总结

本文提出自支持少样本语义分割（SSP），一种新方法，通过利用查询特征生成自支持原型进行匹配，减少类内外观差异，从而提升少样本语义分割性能。在Pascal VOC和FSS-1000数据集上达到当前最优性能，5-shot设置下mIoU分别为68.8%和88.6%，显著优于先前方法。

ABSTRACT

Existing few-shot segmentation methods have achieved great progress based on the support-query matching framework. But they still heavily suffer from the limited coverage of intra-class variations from the few-shot supports provided. Motivated by the simple Gestalt principle that pixels belonging to the same object are more similar than those to different objects of same class, we propose a novel self-support matching strategy to alleviate this problem, which uses query prototypes to match query features, where the query prototypes are collected from high-confidence query predictions. This strategy can effectively capture the consistent underlying characteristics of the query objects, and thus fittingly match query features. We also propose an adaptive self-support background prototype generation module and self-support loss to further facilitate the self-support matching procedure. Our self-support network substantially improves the prototype quality, benefits more improvement from stronger backbones and more supports, and achieves SOTA on multiple datasets. Codes are at \url{https://github.com/fanq15/SSP}.

研究动机与目标

• 为解决少样本支持图像中类内变化覆盖不足导致的少样本语义分割性能限制。
• 通过利用查询特征生成更具代表性的原型，减少支持图像与查询图像之间的外观差异。
• 通过引入捕捉高置信度查询预测中一致物体特征的自支持匹配机制，提升分割精度。
• 开发自适应背景原型生成方法与自支持损失，进一步优化分割性能。

提出的方法

• 提出一种自支持匹配策略，利用从初始查询预测中高置信度区域生成的查询原型来匹配查询特征，实现查询自身的自支持。
• 引入自适应自支持背景原型（ASBP）模块，动态聚合每个查询像素的相似背景像素，提升复杂场景中的背景分割性能。
• 采用自支持损失（SSL）优化自支持匹配过程，增强特征一致性与分割质量。
• 通过可学习权重（α₁=0.5, α₂=0.2, α₃=0.3）融合原始支持原型、自支持原型与优化后的自支持原型，以精炼原型。
• 使用加权融合（β₁=0.3, β₂=0.7）结合初始预测与优化后的匹配输出，以提升最终分割掩码质量。
• 通过优化后的原型与查询特征之间的余弦相似度生成最终分割预测。

实验结果

研究问题

• RQ1 能否利用查询特征生成更具代表性的原型，使其比固定支持原型更好地捕捉类内变化？
• RQ2 基于查询生成的原型的自支持匹配与传统支持-查询匹配相比，在处理外观差异方面表现如何？
• RQ3 自适应背景原型生成能否提升在全局背景语义不一致的复杂、杂乱场景中的分割性能？
• RQ4 自支持损失在多大程度上提升了原型质量与分割精度？
• RQ5 自支持框架在更强的主干网络和更多支持样本数下是否表现出更好的可扩展性？

主要发现

• 所提出的SSP方法在Pascal VOC数据集5-shot少样本分割设置下达到68.8% mIoU，较基线模型提升+4.0%。
• 在FSS-1000数据集上，该方法在5-shot设置下达到88.6% mIoU，优于先前的SOTA方法。
• 自支持优化步骤进一步将FSS-1000数据集5-shot设置下的性能提升至88.6% mIoU，证明了迭代原型优化的有效性。
• 该方法在更强主干网络（如ResNet-101）和更高支持样本数下表现出更大的性能增益，表明其具备良好的可扩展性。
• 定性结果表明，对于支持图像与查询图像之间存在显著外观差异（如不同颜色和尺度的猫）的物体，分割性能有显著提升。
• 自支持匹配机制即使在支持图像与查询图像视觉相似度较低时，也能成功分割完整物体，归因于原型的一致性增强。