[论文解读] A Simple Baseline for Open-Vocabulary Semantic Segmentation with Pre-trained Vision-language Model

Mengde Xu, Zheng Zhang+5 more|arXiv (Cornell University)|Dec 29, 2021

Multimodal Machine Learning Applications被引用 12

一句话总结

本文提出了一种基于预训练视觉-语言模型（CLIP）的简单两阶段开放词汇语义分割框架。首先生成与类别无关的掩码提议，然后使用CLIP对裁剪的图像块进行分类，实现了最先进的零样本性能：在Pascal VOC 2012上提升29.5 hIoU，在COCO Stuff上提升8.9 hIoU，显著超越了先前方法。

ABSTRACT

Recently, open-vocabulary image classification by vision language pre-training has demonstrated incredible achievements, that the model can classify arbitrary categories without seeing additional annotated images of that category. However, it is still unclear how to make the open-vocabulary recognition work well on broader vision problems. This paper targets open-vocabulary semantic segmentation by building it on an off-the-shelf pre-trained vision-language model, i.e., CLIP. However, semantic segmentation and the CLIP model perform on different visual granularity, that semantic segmentation processes on pixels while CLIP performs on images. To remedy the discrepancy in processing granularity, we refuse the use of the prevalent one-stage FCN based framework, and advocate a two-stage semantic segmentation framework, with the first stage extracting generalizable mask proposals and the second stage leveraging an image based CLIP model to perform open-vocabulary classification on the masked image crops which are generated in the first stage. Our experimental results show that this two-stage framework can achieve superior performance than FCN when trained only on COCO Stuff dataset and evaluated on other datasets without fine-tuning. Moreover, this simple framework also surpasses previous state-of-the-arts of zero-shot semantic segmentation by a large margin: +29.5 hIoU on the Pascal VOC 2012 dataset, and +8.9 hIoU on the COCO Stuff dataset. With its simplicity and strong performance, we hope this framework to serve as a baseline to facilitate future research. The code are made publicly available at~\url{https://github.com/MendelXu/zsseg.baseline}.

研究动机与目标

• 为解决将图像级视觉-语言模型（如CLIP）应用于像素级语义分割任务时存在的差距。
• 通过解耦掩码生成与分类，克服CLIP的图像级特征与像素级分割之间的粒度不匹配问题。
• 仅使用预训练的CLIP和一个简单的两阶段流程，实现对未见类别的强大零样本泛化能力。
• 为未来开放词汇语义分割研究建立一个简单但有效的基线。

提出的方法

• 该方法采用两阶段框架：首先使用掩码头（如MaskFormer）生成与类别无关的掩码提议，然后对每个提议使用CLIP对裁剪的图像块进行分类。
• 每个掩码提议用于裁剪输入图像，将裁剪后的图像块输入预训练的CLIP模型以实现零样本分类。
• 采用可学习提示微调策略以提升对未见类别的分类准确率，提示仅在已见类别上进行训练。
• 由于CLIP与像素级分类之间存在粒度不匹配，框架避免采用单阶段FCN方法。
• 裁剪图像块中的背景像素通过可学习值或掩码标记填充，尽管这些方法表现出不稳定性，仍不如简单基线策略。
• 通过掩码图像推理对齐图像级识别与像素级分割，充分利用CLIP强大的视觉-类别对齐能力。

实验结果

研究问题

• RQ1 尽管存在视觉粒度不匹配，预训练的视觉-语言模型（如CLIP）是否能被有效适配于开放词汇语义分割？
• RQ2 将掩码提议生成与分类解耦的两阶段框架是否在零样本分割中优于单阶段FCN基线方法？
• RQ3 在CLIP上进行提示学习如何提升语义分割中对未见类别的零样本泛化能力？
• RQ4 在掩码图像裁剪中采用不同的背景填充策略对分割性能有何影响？
• RQ5 所提方法是否能在无需微调的情况下跨数据集良好泛化，尤其是在跨数据集评估设置下？

主要发现

• 在跨数据集评估中，该两阶段框架在Cityscapes上优于FCN基线13.1 mIoU，在Pascal Context上优于19.6 mIoU，在ADE20k（150类）上优于5.6 mIoU，在ADE20k（847类）上优于2.9 mIoU。
• 在Pascal VOC 2012上，即使使用自训练，该方法在零样本分割中相比之前SOTA方法仍提升了29.5 hIoU。
• 在COCO Stuff上，该方法在零样本评估中相比先前SOTA提升了8.9 hIoU，展现出对未见类别的强大泛化能力。
• 可学习提示微调相比手动设计的提示提升了9.9 hIoU，且在已见和未见类别上均表现出一致增益。
• 每类使用32个样本进行提示学习可获得最佳性能，而更多样本会降低结果，表明存在过拟合风险。
• 该方法在COCO Stuff上达到77.5 hIoU（使用ViT/B-16和CLIP预训练），显著优于ImageNet预训练基线。