[论文解读] CAT-Seg: Cost Aggregation for Open-Vocabulary Semantic Segmentation

Seokju Cho, Heeseong Shin+4 more|arXiv (Cornell University)|Mar 21, 2023

Multimodal Machine Learning Applications被引用 4

一句话总结

CAT-Seg 提出了一种用于开放词汇语义分割的新颖成本聚合框架，该框架优化 CLIP 图像-文本相似度图（成本张量）而非直接微调 CLIP 嵌入表示，从而保留了开放词汇能力。通过使用基于 Transformer 的模块，联合聚合成本张量中的空间关系与类别间关系，并引入嵌入引导，CAT-Seg 在 ADE20K、PASCAL VOC 和 PASCAL-Context 上均实现了最先进性能，在 ADE20K-847 上相比之前方法实现了 22% 的 mIoU 提升。

ABSTRACT

Open-vocabulary semantic segmentation presents the challenge of labeling each pixel within an image based on a wide range of text descriptions. In this work, we introduce a novel cost-based approach to adapt vision-language foundation models, notably CLIP, for the intricate task of semantic segmentation. Through aggregating the cosine similarity score, i.e., the cost volume between image and text embeddings, our method potently adapts CLIP for segmenting seen and unseen classes by fine-tuning its encoders, addressing the challenges faced by existing methods in handling unseen classes. Building upon this, we explore methods to effectively aggregate the cost volume considering its multi-modal nature of being established between image and text embeddings. Furthermore, we examine various methods for efficiently fine-tuning CLIP.

研究动机与目标

• 解决将 CLIP 的图像级视觉-语言知识迁移至像素级分割而不损害其开放词汇能力的挑战。
• 克服依赖有偏区域提议且缺乏全局上下文理解的两阶段方法的局限性。
• 开发一种方法，实现在推理时对任意未见类别进行有效且可泛化的分割。
• 通过优化成本张量而非直接微调图像嵌入，保留 CLIP 预训练的开放词汇泛化能力。
• 实现对细粒度未见类别的鲁棒部件级分割，克服现有两阶段方法中的偏差。

提出的方法

• 构建密集成本张量作为 CLIP 图像嵌入与文本嵌入之间余弦相似度图。
• 设计基于 Transformer 的成本聚合模块，将聚合过程分解为空间与类别间两部分。
• 引入嵌入引导，以在成本聚合过程中增强视觉与文本特征之间的对齐。
• 使用轻量级解码器从聚合后的成本张量重建分割掩码，同时保留细节。
• 仅微调 Transformer 中的注意力层，避免对 CLIP 进行完整微调，以保留预训练知识。
• 以成本张量为主要优化目标进行端到端训练，最小化 CLIP 开放词汇性能的退化。

Figure 1: Teaser. For open-vocabulary semantic segmentation, we propose to aggregate a matching cost derived from dense image and text embeddings of CLIP [ 44 ] , resulting in state-of-the-art performance across all benchmarks.

实验结果

研究问题

• RQ1 优化 CLIP 图像-文本相似度图（成本张量）而非图像嵌入，是否能保留 CLIP 在像素级分割中的开放词汇泛化能力？
• RQ2 结合空间与类别间注意力的成本聚合，如何提升对已见与未见类别的分割性能？
• RQ3 与使用区域提议并独立分类每个区域的两阶段方法相比，所提方法是否具有更好的泛化能力？
• RQ4 该框架能否在未在训练中暴露的情况下，成功处理细粒度未见类别（如 'arm' 或 'birdcage'）？
• RQ5 随着主干网络容量的增加，模型性能如何变化？是否保持效率与性能增益？

主要发现

• CAT-Seg 在所有基准测试中均达到最先进性能，尤其在 ADE20K-847 上相比之前方法实现了 22% 的 mIoU 提升。
• 在 ADE20K-847 上，使用 ViT-G 主干时，模型 mIoU 达到 44.9，展现出在大规模开放词汇分割任务中的强大性能。
• 在 ADE20K-150 上，从 ViT-B 扩展到 ViT-G 时，mIoU 提升 9.0%，表明具有良好的可扩展性。
• 推理速度优于两阶段基线，尤其在模型规模增大时更为明显，得益于与类别数量成比例的成本张量计算机制。
• 模型在部件级分割上泛化良好：能成功分割未见的细粒度类别（如 'arm' 和 'leg'），而两阶段方法因提议偏差而失败。
• 消融实验表明，优化成本张量可防止开放词汇能力的性能退化，而直接微调 CLIP 嵌入则会导致性能下降。

(c) Qualitative comparisons