[论文解读] Beyond the Prototype: Divide-and-conquer Proxies for Few-shot Segmentation

Chunbo Lang, Binfei Tu+2 more|arXiv (Cornell University)|Apr 21, 2022

Domain Adaptation and Few-Shot Learning被引用 5

一句话总结

本文提出了一种新型少样本分割框架——分割-征服代理（Divide-and-Conquer Proxies, DCP），通过自推理与掩码分割生成多个由支持图像引导的代理，增强元推理能力，从而提供比传统原型更鲁棒的指导。DCP在PASCAL-5i和COCO-20i基准上实现了最先进性能，相较于基于原型的方法，mIoU最高提升达10%。

ABSTRACT

Few-shot segmentation, which aims to segment unseen-class objects given only a handful of densely labeled samples, has received widespread attention from the community. Existing approaches typically follow the prototype learning paradigm to perform meta-inference, which fails to fully exploit the underlying information from support image-mask pairs, resulting in various segmentation failures, e.g., incomplete objects, ambiguous boundaries, and distractor activation. To this end, we propose a simple yet versatile framework in the spirit of divide-and-conquer. Specifically, a novel self-reasoning scheme is first implemented on the annotated support image, and then the coarse segmentation mask is divided into multiple regions with different properties. Leveraging effective masked average pooling operations, a series of support-induced proxies are thus derived, each playing a specific role in conquering the above challenges. Moreover, we devise a unique parallel decoder structure that integrates proxies with similar attributes to boost the discrimination power. Our proposed approach, named divide-and-conquer proxies (DCP), allows for the development of appropriate and reliable information as a guide at the "episode" level, not just about the object cues themselves. Extensive experiments on PASCAL-5i and COCO-20i demonstrate the superiority of DCP over conventional prototype-based approaches (up to 5~10% on average), which also establishes a new state-of-the-art. Code is available at github.com/chunbolang/DCP.

研究动机与目标

• 解决基于原型的少样本分割方法在复杂场景（如边界模糊和干扰物体）下表现不佳的局限性。
• 克服现有方法中对支持图像-掩码对利用不足的问题，这些方法过度依赖压缩后的对象特征。
• 通过从支持图像中提取多样化、属性特定的代理，在任务层面构建更鲁棒且信息量更丰富的指导机制。
• 通过引入一种新型并行解码器结构，整合具有相似语义角色的代理，以提升分割精度与鲁棒性。

提出的方法

• 在支持图像上应用自推理机制，生成粗粒度分割掩码，随后将其划分为多个具有不同属性的区域。
• 对每个区域使用掩码平均池化，生成一系列由支持图像引导的代理，每种代理捕捉特定线索，如前景、背景或边界相关信息。
• 引入一种并行解码器结构（PDS），将具有相似属性（如前景、背景）的代理分组并融合，以增强判别能力。
• 在查询图像推理过程中，利用代理的激活图作为动态指导信号，替代或补充传统的基于原型的注意力机制。
• 采用可学习、参数高效的策略融合查询特征与代理激活图，同时保持高推理速度和低FLOPs。
• 通过交叉熵损失与Dice损失端到端优化整个框架，确保预测掩码与真实掩码对齐。

实验结果

研究问题

• RQ1 更全面地利用支持图像-掩码对是否能够突破基于原型方法的局限，实现少样本分割性能的提升？
• RQ2 将支持掩码划分为语义上不同的区域并生成专用代理，是否能提升在具有挑战性的少样本分割任务中的泛化能力？
• RQ3 通过并行解码器结构整合具有相似属性的代理，是否能增强判别能力并减少误报？
• RQ4 所提出的框架是否能在保持高推理速度和低计算成本的前提下实现最先进性能？

主要发现

• DCP在PASCAL-5i 1-shot基准上达到60.63%的mIoU，相较于基线原型方法提升1.12个百分点，相较于此前最先进方法最高提升达10%。
• 引入与背景相关的代理（如$\mathbf{M}_\gamma$，$\mathbf{M}_\delta$）显著减少了误报，尤其在存在干扰物体的场景中表现突出。
• 与简单拼接融合方案相比，并行解码器结构（PDS）使性能提升0.49% mIoU，证明其在缓解特征混淆方面的有效性。
• 所提出的基于激活图的融合策略实现16+ FPS的推理速度，仅增加0.26M参数，展现出强大的效率优势。
• 消融实验证实，通过自推理与区域分割生成的代理相比仅使用原型，能提供更可靠的指导，尤其在处理边界模糊与类别混淆问题时表现更优。
• 混淆矩阵分析表明，与基线模型相比，DCP显著减少了语义相似类别（如“狗”与“猫”）之间的混淆。