[论文解读] FreeMask: Synthetic Images with Dense Annotations Make Stronger Segmentation Models

Lihe Yang, Xiaogang Xu+3 more|arXiv (Cornell University)|Oct 23, 2023

Generative Adversarial Networks and Image Synthesis被引用 7

一句话总结

FreeMask 通过利用从扩散模型生成的高质量、密集标注的合成图像，显著提升了全监督语义分割性能。通过在合成过程中过滤噪声区域并优先处理难以学习的语义掩码，该方法实现了与真实数据训练相当的性能（例如，在 ADE20K 上达到 52.0 mIoU），并通过预训练或联合训练提升了真实数据模型的性能。

ABSTRACT

Semantic segmentation has witnessed tremendous progress due to the proposal of various advanced network architectures. However, they are extremely hungry for delicate annotations to train, and the acquisition is laborious and unaffordable. Therefore, we present FreeMask in this work, which resorts to synthetic images from generative models to ease the burden of both data collection and annotation procedures. Concretely, we first synthesize abundant training images conditioned on the semantic masks provided by realistic datasets. This yields extra well-aligned image-mask training pairs for semantic segmentation models. We surprisingly observe that, solely trained with synthetic images, we already achieve comparable performance with real ones (e.g., 48.3 vs. 48.5 mIoU on ADE20K, and 49.3 vs. 50.5 on COCO-Stuff). Then, we investigate the role of synthetic images by joint training with real images, or pre-training for real images. Meantime, we design a robust filtering principle to suppress incorrectly synthesized regions. In addition, we propose to inequally treat different semantic masks to prioritize those harder ones and sample more corresponding synthetic images for them. As a result, either jointly trained or pre-trained with our filtered and re-sampled synthesized images, segmentation models can be greatly enhanced, e.g., from 48.7 to 52.0 on ADE20K. Code is available at https://github.com/LiheYoung/FreeMask.

研究动机与目标

• 通过利用合成数据，减少在语义分割中对昂贵的真实密集标注的依赖。
• 仅使用合成的、掩码条件化的图像，提升全监督语义分割的性能。
• 通过在像素和类别层面的自适应过滤，解决合成数据中的域偏移和合成误差问题。
• 通过优先合成难以学习的语义类别，提升模型泛化能力。
• 在预训练和与真实数据联合训练的范式下，验证合成数据的有效性。

提出的方法

• 使用预训练并微调过的基于 FreestyleNet 的扩散模型，以真实语义掩码为条件生成合成图像，确保域对齐。
• 应用自适应像素级过滤策略：使用预训练的真实图像模型计算损失，将超过类别平均损失一定阈值的区域标记并抑制。
• 通过基于类别损失分布识别语义上更难的掩码，实现感知难度的数据合成，即对更难的掩码重新采样更多合成图像。
• 使用过滤后并重采样的合成图像，与真实图像一起进行预训练或联合训练，保持相同的训练协议。
• 使用 MMSegmentation 进行实现，并在 8× V100 GPU 上训练，采用同步批量采样和数据增强。
• 在合成数据上进行预训练，学习率减半后进行微调，保持完整的训练调度。

实验结果

研究问题

• RQ1 来自扩散模型的合成、密集标注图像是否能在全监督语义分割中实现与真实数据训练相当的性能？
• RQ2 如何有效过滤合成数据中噪声或生成质量差的区域，以避免对训练产生负面影响？
• RQ3 优先合成难以学习的语义类别是否能带来可测量的分割精度提升？
• RQ4 合成数据的预训练或与真实数据的联合训练是否能显著提升全监督分割模型的性能？
• RQ5 合成图像生成中的域偏移和错位对下游分割性能有何影响？

主要发现

• 仅使用合成图像在 ADE20K 上达到 48.3 mIoU，在 COCO-Stuff 上达到 49.3 mIoU，与真实数据基线（分别为 48.5 和 50.5 mIoU）非常接近。
• 与真实数据和过滤后的合成数据联合训练后，ADE20K 的 mIoU 从 48.7 提升至 52.0，显示出显著的性能提升。
• 在 ADE20K 上提升最明显的类别包括：船（+68.19 IoU）、微波炉（+48.72）和街机游戏机（+45.85），表明对稀有或复杂物体的性能提升显著。
• 过滤机制有效抑制了边界区域以及稀有或小物体上的噪声区域，提升了训练的稳定性和准确性。
• 在过滤后的合成数据上进行预训练，随后微调，性能持续提升，验证了该方法的可扩展性和鲁棒性。
• 在 V100 GPU 上，单张图像的合成耗时约 5.8 秒，24 张 V100 GPU 可在两天内生成完整的 ADE20K 和 COCO-Stuff 合成数据集。