[论文解读] Label-Efficient Semantic Segmentation with Diffusion Models

Dmitry Baranchuk, Ivan Rubachev+3 more|arXiv (Cornell University)|Dec 6, 2021

Generative Adversarial Networks and Image Synthesis被引用 28

一句话总结

论文使用预训练去噪扩散概率模型（DDPM）的中间激活作为逐像素表示来进行少样本语义分割，与基于GAN的和自监督基线相比取得强劲结果。

ABSTRACT

Denoising diffusion probabilistic models have recently received much research attention since they outperform alternative approaches, such as GANs, and currently provide state-of-the-art generative performance. The superior performance of diffusion models has made them an appealing tool in several applications, including inpainting, super-resolution, and semantic editing. In this paper, we demonstrate that diffusion models can also serve as an instrument for semantic segmentation, especially in the setup when labeled data is scarce. In particular, for several pretrained diffusion models, we investigate the intermediate activations from the networks that perform the Markov step of the reverse diffusion process. We show that these activations effectively capture the semantic information from an input image and appear to be excellent pixel-level representations for the segmentation problem. Based on these observations, we describe a simple segmentation method, which can work even if only a few training images are provided. Our approach significantly outperforms the existing alternatives on several datasets for the same amount of human supervision.

研究动机与目标

• 推动并证明DDPM可以为分割提供有价值的像素级语义表示。
• 显示中间DDPM激活捕捉了与密集预测相关的语义信息。
• 提出一个简单的分割流水线，使用DDPM激活结合少量有标签数据。
• 在多个数据集上对DDPM基表示与基于GAN的和自监督基线进行实证比较。

提出的方法

• 通过在选定的扩散步t和解码块B，将损坏的真实图像输入到DDPM的噪声预测网络U-Net来提取像素级表示。
• 将中间激活上采样到图像分辨率并跨块与步进行连接，形成8448维的像素特征。
• 在带标签像素上训练一个MLP集成来预测每个像素的类别（半监督 setting）。
• 在推理阶段，对测试图像提取像素特征，并通过MLP集成的多数投票来预测标签。
• 在多个数据集上将DDPM表示与基于GAN的、自监督和自编码器基线进行比较。

实验结果

研究问题

• RQ1 中间DDPM激活是否包含适用于分割的具备语义意义的逐像素信息？
• RQ2 一种简单、标注高效的分割流水线是否能利用DDPM基表示在少样本设置中优于现有基线？
• RQ3 DDPM基表示与基于GAN的和自监督表示在细粒度语义分割方面有何比较？
• RQ4 扩散步t以及所选的UNet块对分割质量有何影响？

主要发现

Method	Bedroom-28	FFHQ-34	Cat-15	Horse-21	CelebA-19	ADE Bedroom-30
ALAE	20.0 ± 1.0	48.1 ± 1.3	—	—	49.7 ± 0.7	15.0 ± 0.5
VDVAE	—	57.3 ± 1.1	—	—	54.1 ± 1.0	—
GAN Inversion	13.9 ± 0.6	51.7 ± 0.8	21.4 ± 1.7	17.7 ± 0.4	51.5 ± 2.3	11.1 ± 0.2
GAN Encoder	22.4 ± 1.6	53.9 ± 1.3	32.0 ± 1.8	26.7 ± 0.7	53.9 ± 0.8	15.7 ± 0.3
SwAV	42.4 ± 1.7	56.9 ± 1.3	45.1 ± 2.1	54.0 ± 0.9	52.4 ± 1.3	30.6 ± 1.6
MAE	45.0 ± 2.0	58.8 ± 1.1	52.4 ± 2.3	63.4 ± 1.4	57.8 ± 0.4	31.7 ± 1.8
DatasetGAN	31.3 ± 2.3	57.0 ± 1.1	36.5 ± 2.3	45.4 ± 1.4	—	—
DatasetDDPM	47.9 ± 2.9	56.0 ± 0.9	47.6 ± 1.5	60.8 ± 1.0	—	—
DDPM (Ours)	49.4 ± 1.9	59.1 ± 1.4	53.7 ± 3.3	65.0 ± 0.8	59.9 ± 1.0	34.6 ± 1.7

• DDPM基表示在若干少样本分割数据集上显著优于大多数基线（表2）。
• DDPM在Bedroom-28、FFHQ-34、Cat-15、Horse-21、CelebA-19、ADE Bedroom-30等数据集上通常优于DatasetGAN，并在GAN基和自监督方法上往往超过。
• DDPM在使用真实数据训练时比大多数基线具有更高的平均IoU，并且在使用合成GAN数据训练时仍具备竞争力（表3）。
• 最具信息量的语义信号来自中间UNet块和后期扩散步，较小物体受益于较浅的块，较大物体受益于较深的块（第3.1节）。
• 提出的基于DDPM的方法对输入干扰具有鲁棒性，在不同监督水平下仍保持其优势（表2–4，图6）。