[论文解读] Learning Non-target Knowledge for Few-shot Semantic Segmentation

Yuanwei Liu, Nian Liu+4 more|arXiv (Cornell University)|May 10, 2022

Domain Adaptation and Few-Shot Learning被引用 6

一句话总结

该论文提出了一种新颖的少样本语义分割框架 NTRENet，通过显式挖掘并消除查询图像中的背景（BG）和干扰物体（DO）区域来提升精度。通过引入一种新型的背景损失的背景挖掘模块（BG Mining Module）、背景/干扰物体消除模块（BG/DO Eliminating Modules）以及原型对比学习（prototypical contrastive learning），该方法减少了误报，并在 PASCAL-5i 和 COCO-20i 基准上实现了最先进性能。

ABSTRACT

Existing studies in few-shot semantic segmentation only focus on mining the target object information, however, often are hard to tell ambiguous regions, especially in non-target regions, which include background (BG) and Distracting Objects (DOs). To alleviate this problem, we propose a novel framework, namely Non-Target Region Eliminating (NTRE) network, to explicitly mine and eliminate BG and DO regions in the query. First, a BG Mining Module (BGMM) is proposed to extract the BG region via learning a general BG prototype. To this end, we design a BG loss to supervise the learning of BGMM only using the known target object segmentation ground truth. Then, a BG Eliminating Module and a DO Eliminating Module are proposed to successively filter out the BG and DO information from the query feature, based on which we can obtain a BG and DO-free target object segmentation result. Furthermore, we propose a prototypical contrastive learning algorithm to improve the model ability of distinguishing the target object from DOs. Extensive experiments on both PASCAL-5i and COCO-20i datasets show that our approach is effective despite its simplicity.

研究动机与目标

• 为解决少样本语义分割中背景和干扰物体区域的高误报率问题。
• 提出一种新范式，聚焦于消除非目标区域，而非仅增强目标特征学习。
• 设计一种背景挖掘模块（BGMM），在无需背景真实标签的情况下学习通用的背景原型。
• 设计背景（BGEM）和干扰物体（DOEM）消除模块，从查询特征中过滤非目标特征。
• 通过原型对比学习（PCL）提升模型对目标物体与干扰物体的判别能力。

提出的方法

• 背景挖掘模块（BGMM）利用一种新型的背景损失，从查询图像和支持图像中学习通用背景原型，该损失仅在目标物体掩码上进行训练。
• 背景损失强制背景原型与目标物体特征相区分，从而在无背景真实标签的情况下实现背景区域预测。
• 背景消除模块（BGEM）通过将查询特征与学习到的背景原型匹配，抑制查询图像中的背景特征。
• 干扰物体消除模块（DOEM）通过将查询特征与从支持图像中提取的干扰物体原型进行比较，识别并移除干扰物体区域。
• 引入原型对比学习（PCL）以优化原型嵌入，将目标原型视为正样本，干扰物体原型视为难负样本。
• 最终通过将优化后的目标原型与已去除背景和干扰物体的查询特征进行匹配，生成分割结果。

实验结果

研究问题

• RQ1 显式挖掘并消除非目标区域（背景和干扰物体）是否能提升少样本语义分割性能？
• RQ2 在无背景真实标签的情况下，如何学习一个通用的背景原型？
• RQ3 消除背景和干扰物体特征对降低误报预测的影响如何？
• RQ4 将干扰物体原型作为对比学习中的难负样本，在物体判别中有多高效？
• RQ5 背景原型的最佳通道维度是多少，以在泛化能力与表征容量之间取得平衡？

主要发现

• 在 1-shot 设置下，NTRENet 完整模型在 PASCAL-5i 上达到 64.2% 的平均 mIoU，优于以往最先进方法。
• 通过 BGEM 移除背景区域，相比仅使用目标原型的基线模型，mIoU 提升了 4%。
• 增加 DOEM 以消除干扰物体区域，带来额外 2% 的 mIoU 提升，证明其在减少误报方面的有效性。
• PCL 模块通过增强目标与干扰物体之间的特征判别能力，进一步带来 1% 的 mIoU 提升。
• 与基线相比，该方法将精确率提高了 3%，且每个组件（BGEM、DOEM、PCL）均逐步减少误报。
• 使用 640 个通道的背景原型可获得最佳整体性能，而部分折中 512 个通道为最优。