[论文解读] ACSeg: Adaptive Conceptualization for Unsupervised Semantic Segmentation

Kehan Li, Zhennan Wang+7 more|arXiv (Cornell University)|Oct 12, 2022

Domain Adaptation and Few-Shot Learning被引用 5

一句话总结

ACSeg 提出了一种用于无监督语义分割的自适应概念化框架，通过可学习原型和自适应概念生成器（ACG）动态聚类来自自监督 ViT 特征的像素级表征。通过优化一种模块化损失以实现自适应概念计数，ACSeg 在 PASCAL VOC 2012 和 COCO-Stuff 上实现了最先进性能，且无需任何标注，在聚类和零样本分类设置下均优于先前方法。

ABSTRACT

Recently, self-supervised large-scale visual pre-training models have shown great promise in representing pixel-level semantic relationships, significantly promoting the development of unsupervised dense prediction tasks, e.g., unsupervised semantic segmentation (USS). The extracted relationship among pixel-level representations typically contains rich class-aware information that semantically identical pixel embeddings in the representation space gather together to form sophisticated concepts. However, leveraging the learned models to ascertain semantically consistent pixel groups or regions in the image is non-trivial since over/ under-clustering overwhelms the conceptualization procedure under various semantic distributions of different images. In this work, we investigate the pixel-level semantic aggregation in self-supervised ViT pre-trained models as image Segmentation and propose the Adaptive Conceptualization approach for USS, termed ACSeg. Concretely, we explicitly encode concepts into learnable prototypes and design the Adaptive Concept Generator (ACG), which adaptively maps these prototypes to informative concepts for each image. Meanwhile, considering the scene complexity of different images, we propose the modularity loss to optimize ACG independent of the concept number based on estimating the intensity of pixel pairs belonging to the same concept. Finally, we turn the USS task into classifying the discovered concepts in an unsupervised manner. Extensive experiments with state-of-the-art results demonstrate the effectiveness of the proposed ACSeg.

研究动机与目标

• 为解决由于图像间场景复杂度和语义分布差异导致的无监督语义分割中聚类不一致的问题。
• 在无需固定聚类数量或标注的情况下，实现对像素级表征中语义一致概念（区域）的自适应发现。
• 通过生成高质量、局部化的区域级表征，提升零样本语义分割性能，使其适用于视觉-语言模型的分类任务。
• 设计一种支持每张图像可变概念数量的训练目标，同时保持鲁棒性和效率。

提出的方法

• 该方法引入可学习原型，以显式编码表征空间中的语义概念。
• 自适应概念生成器（ACG）通过像素级特征与原型之间的缩放点积注意力机制，动态更新每张图像的原型。
• ACG 通过一种新颖的模块化损失端到端训练，该损失鼓励高亲和力的像素对被分到同一概念中，且与概念数量无关。
• 模块化损失在像素表征的亲和力图上计算，将像素间连接强度作为语义相似性的代理。
• 在完成概念发现后，分割任务被建模为使用 k-NN 分类器或 CLIP 等视觉-语言模型对这些概念进行分类。
• 该框架完全无监督且可迁移，无需在分割特定标注上进行微调。

实验结果

研究问题

• RQ1 如何通过根据每张图像的语义分布自适应调整概念发现，来改进无监督语义分割？
• RQ2 基于可学习原型并具备动态适应能力的方法，是否能优于固定聚类或前景-背景分割方法？
• RQ3 基于模块化的损失在无监督条件下，能在多大程度上实现自适应概念计数？
• RQ4 所发现的概念在使用预训练视觉-语言模型进行零样本分类时，其泛化能力如何？

主要发现

• ACSeg 在 PASCAL VOC 2012 无监督语义分割基准上达到最先进性能，优于先前方法，且无需任何后处理或微调。
• 在 VOC 数据集上的 k-NN 检索准确率衡量下，该方法在区域级表征质量方面优于 k-means、谱聚类和亲和传播算法。
• 当使用 16 个原型时，ACSeg 在 PASCAL VOC 2012 上实现了 52.1% 的平均交并比（mIoU），表明其在不同原型数量下均具备鲁棒性和可扩展性。
• 由于能够自适应地建模图像特定的语义结构，基于 ACG 的方法性能优于传统聚类算法。
• 当与 CLIP 结合时，ACSeg 在零样本分类准确率上高于 MaskCLIP、GroupViT 和 ReCo，证明了其概念具有优异的定位质量。
• 消融实验确认，模块化损失实现了自适应概念发现：原型过少（如 2 个）会导致聚类不足，而过多则引发过聚类，最优性能出现在中等数量范围内。