[论文解读] Uncovering Prototypical Knowledge for Weakly Open-Vocabulary Semantic Segmentation

Fei Zhang, Tianfei Zhou+7 more|arXiv (Cornell University)|Oct 29, 2023

Multimodal Machine Learning Applications被引用 5

一句话总结

该论文提出PGSeg，一种用于弱监督开放词汇语义分割的新框架，通过引入非学习型原型正则化（NPR）来显式监督视觉变换器中的组标记。通过在图像和文本特征上使用高斯混合模型生成固定原型，PGSeg增强了组标记的紧凑性和丰富性，解决了训练与推理之间粒度不一致的问题，并实现了最先进的性能，同时提升了分割质量和鲁棒性。

ABSTRACT

This paper studies the problem of weakly open-vocabulary semantic segmentation (WOVSS), which learns to segment objects of arbitrary classes using mere image-text pairs. Existing works turn to enhance the vanilla vision transformer by introducing explicit grouping recognition, i.e., employing several group tokens/centroids to cluster the image tokens and perform the group-text alignment. Nevertheless, these methods suffer from a granularity inconsistency regarding the usage of group tokens, which are aligned in the all-to-one v.s. one-to-one manners during the training and inference phases, respectively. We argue that this discrepancy arises from the lack of elaborate supervision for each group token. To bridge this granularity gap, this paper explores explicit supervision for the group tokens from the prototypical knowledge. To this end, this paper proposes the non-learnable prototypical regularization (NPR) where non-learnable prototypes are estimated from source features to serve as supervision and enable contrastive matching of the group tokens. This regularization encourages the group tokens to segment objects with less redundancy and capture more comprehensive semantic regions, leading to increased compactness and richness. Based on NPR, we propose the prototypical guidance segmentation network (PGSeg) that incorporates multi-modal regularization by leveraging prototypical sources from both images and texts at different levels, progressively enhancing the segmentation capability with diverse prototypical patterns. Experimental results show that our proposed method achieves state-of-the-art performance on several benchmark datasets. The source code is available at https://github.com/Ferenas/PGSeg.

研究动机与目标

• 为解决弱监督开放词汇语义分割（WOVSS）中的粒度不一致问题，即组标记在训练时采用全对一对齐，而推理时采用一对一对齐。
• 通过显式监督增强组标记的质量，以实现紧凑性和丰富性。
• 通过引入原型知识作为外部监督，弥合弱监督训练与零样本推理之间的差距。
• 探索多模态原型源——图像级和文本级——以通过多样化语义模式丰富组标记表示。
• 开发一种实用且高效的分割框架，在有限监督下保持强性能，避免依赖像素级标注。

提出的方法

• 提出非学习型原型正则化（NPR），在源特征上使用高斯混合模型（GMM）生成固定、非学习型原型，作为组标记的监督信号。
• 通过组标记与GMM生成的原型之间的对比匹配来正则化特征学习，从而增强紧凑性和丰富性。
• 提出两种变体：使用低级视觉特征的图像级NPR（I-NPR）和使用CLIP编码文本特征的文本级NPR（T-NPR），以提供多模态监督。
• 设计一种渐进式训练策略，整合I-NPR与T-NPR，以在不同抽象层次上优化组标记。
• 采用视觉变换器主干网络并引入可学习的组标记，正则化在特征聚类过程中应用，以提升分割保真度。
• 使用对比损失将组标记与原型对齐，确保每个组标记能够学习到一致、去噪且语义丰富的区域表示。

实验结果

研究问题

• RQ1 如何在弱监督开放词汇语义分割中为组标记提供显式监督，以解决训练与推理之间的粒度不一致？
• RQ2 何种原型知识能够有效引导组标记实现特征表示上的紧凑性与丰富性？
• RQ3 从图像和文本中提取的多模态原型是否能提升零样本分割中组标记的泛化能力与鲁棒性？
• RQ4 非学习型原型正则化在弱监督设置下相较于端到端学习聚类方法，性能优势有多大？
• RQ5 图像级与文本级原型的融合在多大程度上影响整体分割性能与特征多样性？

主要发现

• PGSeg在多个基准数据集上达到最先进性能，相较于现有WOVSS方法展现出更优的分割质量。
• 所提出的NPR显著提升了组标记的紧凑性，减少了特征空间中的冗余与噪声，经可视化与特征方差分析验证。
• PGSeg中组标记特征的维度方差显著高于GroupViT，表明其表示多样性更好，且维度坍塌现象更少。
• 模型保持了合理的计算成本，FLOPs为13.6G，参数量为35.1M，低于ViT-S，仅比GroupViT多3.2G，体现出良好的效率。
• 视觉对比显示，PGSeg能以类别无关方式有效捕捉完整物体，在雨伞、轮船等直观类别上表现优异，尽管训练数据有限。
• 消融实验表明，I-NPR与T-NPR均带来正向贡献，两者结合效果最佳，凸显了多模态原型监督的优势。