[论文解读] Diffusion Model is Secretly a Training-free Open Vocabulary Semantic Segmenter

Jinglong Wang, Xiawei Li+6 more|arXiv (Cornell University)|Sep 6, 2023

Multimodal Machine Learning Applications被引用 7

一句话总结

该论文提出 DiffSegmenter，一种无需训练的开放词汇语义分割方法，通过从去噪 U-Net 中提取自注意力和交叉注意力图，利用预训练的文本到图像扩散模型（如 Stable Diffusion）生成分割图。在弱监督设置下，该方法在 PASCAL VOC 2012、MS COCO 2014 和 Pascal Context 数据集上实现了最先进性能，mIoU 最高达 70.49%，且无需额外训练或参数。

ABSTRACT

The pre-trained text-image discriminative models, such as CLIP, has been explored for open-vocabulary semantic segmentation with unsatisfactory results due to the loss of crucial localization information and awareness of object shapes. Recently, there has been a growing interest in expanding the application of generative models from generation tasks to semantic segmentation. These approaches utilize generative models either for generating annotated data or extracting features to facilitate semantic segmentation. This typically involves generating a considerable amount of synthetic data or requiring additional mask annotations. To this end, we uncover the potential of generative text-to-image diffusion models (e.g., Stable Diffusion) as highly efficient open-vocabulary semantic segmenters, and introduce a novel training-free approach named DiffSegmenter. The insight is that to generate realistic objects that are semantically faithful to the input text, both the complete object shapes and the corresponding semantics are implicitly learned by diffusion models. We discover that the object shapes are characterized by the self-attention maps while the semantics are indicated through the cross-attention maps produced by the denoising U-Net, forming the basis of our segmentation results.Additionally, we carefully design effective textual prompts and a category filtering mechanism to further enhance the segmentation results. Extensive experiments on three benchmark datasets show that the proposed DiffSegmenter achieves impressive results for open-vocabulary semantic segmentation.

研究动机与目标

• 为解决 CLIP 等判别式模型在开放词汇语义分割中因对比学习导致的定位与形状感知能力丧失的问题。
• 探究生成式扩散模型是否可通过其隐式学习到的物体形状与语义信息，成为高效、无需训练的语义分割器。
• 开发一种从预训练扩散模型中提取像素级分割图的方法，且无需额外训练或可学习组件。
• 通过 BLIP 模型进行有效的文本提示设计与类别过滤，提升分割质量。
• 展示该方法在可控图像编辑等下游任务中的实用性。

提出的方法

• 该方法通过组合去噪 U-Net 中的自注意力图（表示物体形状）与交叉注意力图（表示语义），提取分割得分图。
• 利用贝叶斯定理将条件生成过程 $p(x|c)$ 反向为语义分割后验 $p(c|x)$，实现像素级类别预测。
• 该方法采用经验调优的权重 [0.3, 0.5, 0.1, 0.1] 对不同特征图分辨率（8×8、16×16、32×32、64×64）的交叉注意力图进行加权求和，以增强语义表征。
• 将所有层的自注意力图 ($\widehat{\mathcal{A}}_{all}^{self}$) 进行组合，以提升边界完整性和形状感知能力。
• 利用 BLIP 模型增强文本提示，生成条件性描述，并重新加权类别标记以突出目标类别并抑制背景激活。
• 推理阶段在零样本模式下使用单步去噪（t=100）以提升速度，或在弱监督设置下对多个时间步（t=1, 50, 100, 150）的结果取平均以提升性能。

实验结果

研究问题

• RQ1 预训练的文本到图像扩散模型是否能在不显式训练分割任务的情况下，隐式学习到物体形状与语义信息？
• RQ2 如何利用去噪 U-Net 中的注意力图生成准确、无需训练的分割图？
• RQ3 自注意力图与交叉注意力图在分别捕捉形状与语义信息方面分别起到什么作用？
• RQ4 通过 BLIP 进行提示工程与类别标记重加权，如何提升分割准确率与类别特异性？
• RQ5 该方法是否能在弱监督与零样本设置下实现泛化，并优于现有的判别式与生成式基线方法？

主要发现

• 在弱监督设置下，通过在四个去噪时间步（t=1, 50, 100, 150）取平均，DiffSegmenter 在 MS COCO 2014 数据集上实现了 70.49% 的 mIoU。
• 使用来自不同分辨率的交叉注意力图的加权和优于简单平均，其中 8×8 和 16×16 特征图获得最高权重。
• 整合所有层的自注意力图 ($\widehat{\mathcal{A}}_{all}^{self}$) 显著提升了分割质量，尤其在物体边界方面表现更优。
• 在零样本设置下，最佳性能出现在 t=100 时，mIoU 达到 70.30%，且对多个时间步取平均可进一步提升性能。
• 与 Prompt-to-Prompt (PTP) 相比，该方法能生成更完整、更精确的前景掩码，从而实现更准确的图像编辑。
• 该方法在性能上可与需要大量训练或掩码标注的最先进方法相媲美，且无需任何微调或额外参数。