[论文解读] A Survey on Label-efficient Deep Image Segmentation: Bridging the Gap between Weak Supervision and Dense Prediction

Wei Shen, Zelin Peng+7 more|arXiv (Cornell University)|Jul 4, 2022

Advanced Neural Network Applications被引用 4

一句话总结

本综述系统地梳理了标签高效深度图像分割方法的全面分类体系，该体系将弱监督（如边界框、涂鸦、图像级标签）与密集像素级预测相连接。它按监督类型和分割任务对现有方法进行了系统化整理，识别出关键归纳偏置（如跨像素相似性、跨视角一致性），并提出了未来研究方向，包括视觉变换器和基于文本监督的零样本分割。

ABSTRACT

The rapid development of deep learning has made a great progress in image segmentation, one of the fundamental tasks of computer vision. However, the current segmentation algorithms mostly rely on the availability of pixel-level annotations, which are often expensive, tedious, and laborious. To alleviate this burden, the past years have witnessed an increasing attention in building label-efficient, deep-learning-based image segmentation algorithms. This paper offers a comprehensive review on label-efficient image segmentation methods. To this end, we first develop a taxonomy to organize these methods according to the supervision provided by different types of weak labels (including no supervision, inexact supervision, incomplete supervision and inaccurate supervision) and supplemented by the types of segmentation problems (including semantic segmentation, instance segmentation and panoptic segmentation). Next, we summarize the existing label-efficient image segmentation methods from a unified perspective that discusses an important question: how to bridge the gap between weak supervision and dense prediction -- the current methods are mostly based on heuristic priors, such as cross-pixel similarity, cross-label constraint, cross-view consistency, and cross-image relation. Finally, we share our opinions about the future research directions for label-efficient deep image segmentation.

研究动机与目标

• 为解决深度图像分割中像素级标注的高成本与高劳动强度问题，实现标签高效的模型学习。
• 对弱监督、半监督和自监督图像分割方法的快速增长研究进行系统化整理。
• 在统一框架下整合多样化的标签高效方法，弥合弱监督与密集预测之间的鸿沟。
• 识别并分析在最先进方法中广泛使用的关键归纳偏置，如跨像素相似性、跨标签约束、跨视角一致性以及跨图像关系。
• 展望未来研究方向，包括基于文本监督的零样本分割、视觉变换器以及混合标注下的终身学习。

提出的方法

• 提出弱监督类型的分层分类体系：无监督、不精确监督、不完整监督和不准确监督。
• 根据分割任务对方法进行分类：语义分割、实例分割和全景分割。
• 识别并分析标签高效模型中使用的核心归纳偏置：跨像素相似性、跨标签约束、跨视角一致性以及跨图像关系。
• 在每类弱监督类型下回顾代表性方法（如 MaskContrast、STEGO、PseudoSeg 和 ADELE），以阐明其设计原则。
• 分析自监督预训练（如 DINO、MAE、BEiT）如何支持弱监督分割中的伪标签生成。
• 提出一种统一视角，通过结构化的归纳偏置来弥合弱监督与密集预测之间的差距。

实验结果

研究问题

• RQ1 如何系统性地对弱监督类型（如图像级标签、边界框、涂鸦）进行分类，以指导标签高效分割方法的设计？
• RQ2 哪些主导性归纳偏置能够有效实现从弱监督到密集像素级预测的知识蒸馏？
• RQ3 跨像素相似性、跨视角一致性和跨图像关系在弱监督下如何提升分割精度？
• RQ4 当前标签高效分割方法的关键局限性是什么？如何通过新型架构或预训练范式加以解决？
• RQ5 未来研究方向（如视觉变换器、零样本分割或终身学习）中，哪些最有可能推动密集预测任务中的标签效率提升？

主要发现

• 使用自监督视觉变换器（如经 DINO、MAE 或 iBoT 预训练的 ViT）可生成高质量注意力图，可作为弱监督分割中可靠的伪标签。
• 利用跨像素相似性和跨视角一致性的方法（如 STEGO 和 PseudoSeg）在弱监督语义分割基准上实现了优异性能，且所需监督信息极少。
• 基于视觉变换器的模型（如 MCTFormer 和 CLIMS）通过更有效地建模长距离依赖关系，在弱监督语义分割任务中表现优于卷积神经网络。
• 利用 CLIP 风格的图文对齐实现零样本分割是一个有前景的方向，但当前方法仍依赖于相似类别的预训练，限制了真正的零样本泛化能力。
• 诸如从噪声标签进行实例分割、从不完整标签进行全景分割等未探索问题仍处于开放状态，显示出巨大的研究潜力。
• 结合多种标注类型（如边界框、涂鸦、图像级标签）的终身学习是关键未来方向，亟需新的基准和统一的评估与集成框架。