[论文解读] CLIP is Also an Efficient Segmenter: A Text-Driven Approach for Weakly Supervised Semantic Segmentation

Yuqi Lin, Minghao Chen+6 more|arXiv (Cornell University)|Dec 16, 2022

Multimodal Machine Learning Applications被引用 7

一句话总结

该论文提出 CLIP-ES，一种基于文本驱动、弱监督的语义分割框架，利用冻结的 CLIP 模型从图像级标签生成高质量伪掩码，无需额外训练。通过整合 softmax 正则化 GradCAM、基于文本的提示策略、类别感知注意力融合模块以及置信度引导损失，CLIP-ES 在 PASCAL VOC 2012（73.9% mIoU）和 MS COCO 2014（45.4% mIoU）上实现了最先进性能，且训练时间仅为先前方法的 10%。

ABSTRACT

Weakly supervised semantic segmentation (WSSS) with image-level labels is a challenging task. Mainstream approaches follow a multi-stage framework and suffer from high training costs. In this paper, we explore the potential of Contrastive Language-Image Pre-training models (CLIP) to localize different categories with only image-level labels and without further training. To efficiently generate high-quality segmentation masks from CLIP, we propose a novel WSSS framework called CLIP-ES. Our framework improves all three stages of WSSS with special designs for CLIP: 1) We introduce the softmax function into GradCAM and exploit the zero-shot ability of CLIP to suppress the confusion caused by non-target classes and backgrounds. Meanwhile, to take full advantage of CLIP, we re-explore text inputs under the WSSS setting and customize two text-driven strategies: sharpness-based prompt selection and synonym fusion. 2) To simplify the stage of CAM refinement, we propose a real-time class-aware attention-based affinity (CAA) module based on the inherent multi-head self-attention (MHSA) in CLIP-ViTs. 3) When training the final segmentation model with the masks generated by CLIP, we introduced a confidence-guided loss (CGL) focus on confident regions. Our CLIP-ES achieves SOTA performance on Pascal VOC 2012 and MS COCO 2014 while only taking 10% time of previous methods for the pseudo mask generation. Code is available at https://github.com/linyq2117/CLIP-ES.

研究动机与目标

• 通过消除微调或训练辅助模型的需求，简化弱监督语义分割（WSSS）任务。
• 利用 CLIP 的零样本能力，仅通过图像级标签实现目标定位。
• 通过新颖的基于文本和注意力的模块，在降低训练成本的同时保持或提升分割准确率。
• 在无需额外监督或模型适配的情况下，为下游分割生成可靠的伪掩码。

提出的方法

• 将 softmax 正则化引入 GradCAM，以强制类别间的互斥性，抑制背景及非目标类别的混淆。
• 提出基于清晰度的提示选择与同义词融合策略，以优化文本输入，提升类别特定激活图的质量。
• 设计一种类别感知注意力融合（CAA）模块，利用 CLIP-ViT 的多头自注意力机制实现实时、类别感知的 CAM 优化。
• 在最终分割训练中采用置信度引导损失（CGL），对伪掩码中不确定区域进行降权处理。
• 使用冻结的 CLIP 作为主干网络，实现零样本迁移至新类别和数据集，无需微调。
• 将所有组件整合为端到端、基于文本的 WSSS 流程，避免训练独立的分类与亲和力模型。

实验结果

研究问题

• RQ1 CLIP 在不进行微调的情况下，能否仅通过图像级标签生成高质量分割掩码？
• RQ2 如何优化文本输入，以提升基于 CLIP 的 WSSS 中的类别特定激活图质量？
• RQ3 CLIP 内在的注意力机制能否替代外部亲和力网络以实现 CAM 优化？
• RQ4 在使用噪声伪掩码进行训练时，置信度引导损失是否能提升分割性能？
• RQ5 该框架能否在不重新训练的情况下泛化至新类别和数据集？

主要发现

• CLIP-ES 在 PASCAL VOC 2012 测试集上达到 73.9% mIoU，创下新最先进水平。
• 在 MS COCO 2014 验证集上，CLIP-ES 达到 45.4% mIoU，超越所有先前方法。
• 在 GradCAM 中引入 softmax 使所有类别 mIoU 提升 9.2%，并显著减少 'boat' 与 'water' 等相似类别间的混淆。
• 同义词融合将 'person' 类别的 mIoU 从 43.6% 提升至 51.6%，证明了文本增强的有效性。
• CAA 模块在 CAM 优化方面优于原始多头自注意力（MHSA），可视化结果表明其能产生更完整、更准确的目标激活。
• CLIP-ES 生成伪掩码仅需先前方法 10% 的时间，显著提升了训练效率。