[论文解读] Fully Self-Supervised Learning for Semantic Segmentation

Yuan Wang, Wei Zhuo+4 more|arXiv (Cornell University)|Feb 24, 2022

Advanced Neural Network Applications被引用 11

一句话总结

该论文提出 $FS^{4}$，一种完全自监督的语义分割框架，通过引入金字塔级全局引导（PGG）伪标签和上下文感知嵌入（CAE）机制，消除了对 ImageNet 预训练模型的依赖，从而稳定像素聚类。该方法在 COCO-Stuff 数据集上达到 14.76 mIoU 的性能，优于先前自监督方法超过 7 mIoU，且与完全监督预训练方法性能相当。

ABSTRACT

In this work, we present a fully self-supervised framework for semantic segmentation(FS^4). A fully bootstrapped strategy for semantic segmentation, which saves efforts for the huge amount of annotation, is crucial for building customized models from end-to-end for open-world domains. This application is eagerly needed in realistic scenarios. Even though recent self-supervised semantic segmentation methods have gained great progress, these works however heavily depend on the fully-supervised pretrained model and make it impossible a fully self-supervised pipeline. To solve this problem, we proposed a bootstrapped training scheme for semantic segmentation, which fully leveraged the global semantic knowledge for self-supervision with our proposed PGG strategy and CAE module. In particular, we perform pixel clustering and assignments for segmentation supervision. Preventing it from clustering a mess, we proposed 1) a pyramid-global-guided (PGG) training strategy to supervise the learning with pyramid image/patch-level pseudo labels, which are generated by grouping the unsupervised features. The stable global and pyramid semantic pseudo labels can prevent the segmentation from learning too many clutter regions or degrading to one background region; 2) in addition, we proposed context-aware embedding (CAE) module to generate global feature embedding in view of its neighbors close both in space and appearance in a non-trivial way. We evaluate our method on the large-scale COCO-Stuff dataset and achieved 7.19 mIoU improvements on both things and stuff objects

研究动机与目标

• 实现完全自监督的语义分割，且无需依赖 ImageNet 预训练模型。
• 解决无监督预训练中因缺乏全局语义引导而导致的像素级聚类不稳定性问题。
• 设计一种自举式训练流程，能够从原始图像中自动发现语义类别。
• 通过利用全局图像级伪标签和上下文感知特征学习，提升自监督分割的鲁棒性与性能。
• 在零样本、开放世界语义分割场景下，实现或超越完全监督预训练的性能。

提出的方法

• 提出两阶段训练流程：首先利用实例级自监督（ISS）特征进行图像级聚类，生成多尺度伪标签。
• 引入金字塔级全局引导（PGG）策略，将多尺度图像级伪标签作为全局监督，用于像素级聚类。
• 设计上下文感知嵌入（CAE）模块，以非平凡方式建模邻近特征之间的空间与外观相似性。
• 利用从全局特征生成的伪标签进行像素聚类，端到端地以自举方式训练分割头。
• 在 CAE 中采用改进的 CAM 结构，通过关注具有空间与外观一致性的局部上下文，增强特征表示。
• 应用全局引导损失，每张图像使用一个或多个伪标签，以稳定聚类过程，防止过度分割或背景坍塌。

实验结果

研究问题

• RQ1 自监督语义分割能否完全在无任何人工标注数据（包括预训练阶段）的情况下进行训练？
• RQ2 如何有效利用无监督预训练中的全局语义知识，以稳定不稳定的像素级聚类？
• RQ3 多尺度图像级监督在提升自监督像素聚类质量方面发挥何种作用？
• RQ4 上下文感知特征学习如何增强自监督分割的鲁棒性与准确性？
• RQ5 完全自监督方法能否实现与使用完全监督 ImageNet 权重初始化的模型相当的性能？

主要发现

• 所提出的 $FS^{4}$ 框架在仅使用实例级自监督预训练、从零开始训练的情况下，在 COCO-Stuff 数据集上达到 14.76 mIoU，优于先前自监督方法超过 7 mIoU。
• 与单张图像级伪标签相比，采用金字塔级伪标签的 PGG 策略使 mIoU 提升 1.83 个百分点，显著减少了杂乱与背景过度分割。
• CAE 模块贡献显著，mIoU 从仅使用低层特征的 12.01 提升至完整 CAE 的 14.76，凸显建模局部与高层上下文的必要性。
• 该方法对全局聚类数量具有鲁棒性，在 25–100 个聚类范围内表现稳定，于 25 个聚类时达到峰值 13.11 mIoU。
• 即使从完全监督的 ImageNet 模型进行初始化，$FS^{4}$ 仍可达到 15.69 mIoU，几乎与 PiCIE 在相同设置下的上限 14.36 mIoU 相当，表明其具备强大泛化能力。
• 消融实验表明，COCO-Stuff 微调、GG、CAE、PGG 和 Mod 每个组件均对性能有逐步贡献，其中 PGG 和 CAE 贡献最大。