[论文解读] CLIP Is Also a Good Teacher: A New Learning Framework for Inductive Zero-shot Semantic Segmentation

Jialei Chen, Daisuke Deguchi+3 more|arXiv (Cornell University)|Oct 3, 2023

Topic Modeling被引用 4

一句话总结

本文提出CLIPTeacher，一种新颖的归纳式零样本语义分割框架，利用CLIP作为知识蒸馏教师，且不修改其架构。它引入了全局学习模块（GLM）以对齐CLIP的[CLS]标记与密集特征，并提出像素学习模块（PLM）通过在CLIP的密集标记上应用多尺度K-Means，为未标注（被忽略）区域生成伪标注，从而实现对图像内容的充分利用。该方法实现了最先进性能，在PASCAL Context上mIoU提升8.8%，在VOC 2012上提升2.2%，在COCO-Stuff 164k上提升1.3%。

ABSTRACT

Generalized Zero-shot Semantic Segmentation aims to segment both seen and unseen categories only under the supervision of the seen ones. To tackle this, existing methods adopt the large-scale Vision Language Models (VLMs) which obtain outstanding zero-shot performance. However, as the VLMs are designed for classification tasks, directly adapting the VLMs may lead to sub-optimal performance. Consequently, we propose CLIP-ZSS (Zero-shot Semantic Segmentation), a simple but effective training framework that enables any image encoder designed for closed-set segmentation applied in zero-shot and open-vocabulary tasks in testing without combining with VLMs or inserting new modules. CLIP-ZSS consists of two key modules: Global Learning Module (GLM) and Pixel Learning Module (PLM). GLM is proposed to probe the knowledge from the CLIP visual encoder by pulling the CLS token and the dense features from the image encoder of the same image and pushing others apart. Moreover, to enhance the ability to discriminate unseen categories, PLM consisting of pseudo labels and weight generation is designed. To generate semantically discriminated pseudo labels, a multi-scale K-Means with mask fusion working on the dense tokens is proposed. In pseudo weight generation, a synthesizer generating pseudo semantic features for the unannotated area is introduced. Experiments on three benchmarks show large performance gains compared with SOTA methods.

研究动机与目标

• 解决现有基于CLIP的零样本语义分割方法受限于固定主干网络或需要显式掩码提议器的局限性。
• 通过充分利用图像中已标注（已见）和未标注（被忽略）的区域（通常被丢弃）来提升性能。
• 使任意分割模型都能在不修改CLIP架构或添加额外组件（如掩码头）的情况下实现零样本分割。
• 开发一种灵活、即插即用的框架，通过利用CLIP的视觉-语言对齐能力增强零样本泛化能力。

提出的方法

• 引入全局学习模块（GLM），利用自注意力机制将CLIP的[CLS]标记与分割模型的密集特征对齐，实现全局知识蒸馏。
• 提出像素学习模块（PLM），在CLIP的密集视觉标记上应用多尺度K-Means聚类，以发现未标注区域中语义一致的区域。
• 使用掩码融合算法将被忽略区域中检测到的潜在物体与真实标注的已见类别结合，形成伪标签。
• 采用视觉-语言适配器（VLA）结合Transformer解码器，为新发现的伪物体生成分类器权重。
• 保持原始CLIP模型不变，仅集成两个轻量级模块，使其兼容任意像素级分割主干网络。
• 避免使用显式掩码提议网络，且无需微调CLIP的视觉编码器。

实验结果

研究问题

• RQ1 CLIP能否在不修改其架构的前提下，有效用作零样本语义分割的知识蒸馏教师？
• RQ2 如何利用图像中未标注（被忽略）的区域来提升语义分割的零样本泛化能力？
• RQ3 能否利用CLIP的密集标记发现并为未标注区域中的未见类别生成伪标注？
• RQ4 [CLS]标记与密集特征之间的基于自注意力的对齐是否能提升对未见类别的零样本识别性能？
• RQ5 基于Transformer的视觉-语言适配器能否为被忽略区域中发现的伪物体生成可靠的分类器权重？

主要发现

• 与最先进方法相比，CLIPTeacher在PASCAL VOC 2012上实现了2.2%的mIoU提升。
• 在COCO-Stuff 164k上，mIoU提升1.3%，表明其在大规模数据集上具有强大的泛化能力。
• 在PASCAL Context上，CLIPTeacher实现了显著的8.8% mIoU增益，凸显其在类别繁多的复杂场景中的有效性。
• 消融实验表明，移除GLM后mIoU下降32.2%（从45.4%降至13.2%），证明其在识别未见类别中的关键作用。
• 采用自注意力的GLM相比最大池化和平均池化分别提升9.9%和3.4%，证实了完整特征利用的重要性。
• 采用多尺度K-Means与掩码融合的PLM在mIoU上分别优于MLP和原始特征基线0.2%和0.3%，验证了其设计选择的有效性。