[论文解读] ContrastMask: Contrastive Learning to Segment Every Thing

Xuehui Wang, Kai Zhao+4 more|arXiv (Cornell University)|Mar 18, 2022

Domain Adaptation and Few-Shot Learning被引用 4

一句话总结

ContrastMask 提出了一种统一的像素级对比学习框架，通过利用基础类别中的标注掩码和新类别中的伪掩码来训练一种类别无关的掩码分割模型。通过在基础类别和新类别之间共享前景和背景查询，并使用查询共享对比损失，该方法提升了前景-背景特征的区分能力，在 COCO 数据集的部分监督设置下，新类别上实现了 39.8 mAP 的最先进性能。

ABSTRACT

Partially-supervised instance segmentation is a task which requests segmenting objects from novel unseen categories via learning on limited seen categories with annotated masks thus eliminating demands of heavy annotation burden. The key to addressing this task is to build an effective class-agnostic mask segmentation model. Unlike previous methods that learn such models only on seen categories, in this paper, we propose a new method, named ContrastMask, which learns a mask segmentation model on both seen and unseen categories under a unified pixel-level contrastive learning framework. In this framework, annotated masks of seen categories and pseudo masks of unseen categories serve as a prior for contrastive learning, where features from the mask regions (foreground) are pulled together, and are contrasted against those from the background, and vice versa. Through this framework, feature discrimination between foreground and background is largely improved, facilitating learning of the class-agnostic mask segmentation model. Exhaustive experiments on the COCO dataset demonstrate the superiority of our method, which outperforms previous state-of-the-arts.

研究动机与目标

• 解决仅基础类别具有掩码标注而新类别仅有框级标注的弱监督实例分割挑战。
• 通过在训练过程中同时利用基础类别和新类别的数据，提升前景与背景特征的区分能力。
• 通过在基础类别和新类别之间统一对比学习，弥合两者之间的泛化差距。
• 通过利用有限的掩码标注和新类别生成的伪掩码，降低标注负担，实现有效模型学习。
• 开发一种鲁棒的、类别无关的掩码分割模型，使其能有效泛化到未见物体类别。

提出的方法

• 引入一种查询共享的像素级对比损失，通过在基础类别和新类别中对掩码区域内外的特征进行平均，计算共享的前景和背景查询。
• 利用类激活图（CAM）生成新类别的伪掩码，作为定义正负键的区域先验。
• 采用特殊的采样策略，从掩码区域内部和外部选择键，确保来自同一区域的特征被拉近，同时与相反区域的特征进行对比。
• 对比损失按每个提议区域应用，共享查询使得基础类别和新类别之间的特征学习保持一致。
• 将对比学习头中的特征融合到一个类别无关的掩码头中，用于最终的实例分割。
• 使用高置信度的 CAM 区域作为先验，以提升对噪声伪掩码的鲁棒性。

实验结果

研究问题

• RQ1 统一的对比学习框架是否能通过联合训练基础类别和新类别来提升掩码分割性能？
• RQ2 在基础类别和新类别之间共享前景和背景查询，是否能增强前景与背景之间的特征区分能力？
• RQ3 在缺乏新类别真实掩码的情况下，CAM 生成的伪掩码是否能有效作为对比学习的先验？
• RQ4 与每个提议区域独立学习查询相比，查询共享策略在分割性能上表现如何？
• RQ5 同时使用基础类别和新类别数据，在多大程度上能提升对新类别的泛化能力？

主要发现

• ContrastMask 在使用 ResNeXt-101-FPN 作为骨干网络时，在新类别上实现了 39.8 mAP，显著优于先前的最先进方法。
• 消融实验表明，查询共享至关重要，若移除该机制，mAP 从 35.1 降至 32.7，证明其在特征对齐中的关键作用。
• 仅使用基础类别进行对比学习时，基础类别的 mAP 为 33.5，而使用全部类别（基础 + 新类别）时提升至 35.1，表明引入新类别数据具有显著优势。
• 当使用真实掩码替代基于 CAM 的伪掩码时，mAP 提升了 1.4 个百分点，表明伪掩码质量限制了性能上限。
• 查询共享策略有效缓解了噪声 CAM 的负面影响，在伪掩码不完美时仍能保持优异性能。
• ContrastMask 在无需额外掩码标注的情况下，能有效泛化到新类别，适用于真实世界中的低资源场景。