[论文解读] Exploiting saliency for object segmentation from image level labels

Seong Joon Oh, Rodrigo Benenson+4 more|arXiv (Cornell University)|Jan 28, 2017

Visual Attention and Saliency Detection参考文献 50被引用 31

一句话总结

该论文提出了一种新颖的弱监督语义分割方法，结合图像级别标签与类别无关显著性图，实现了最先进性能。通过利用图像分类器生成的物体种子和显著性图进行范围预测，该方法在Pascal VOC 2012上达到了全监督性能的80%，显著优于仅使用图像级别监督的先前方法。

ABSTRACT

There have been remarkable improvements in the semantic labelling task in the recent years. However, the state of the art methods rely on large-scale pixel-level annotations. This paper studies the problem of training a pixel-wise semantic labeller network from image-level annotations of the present object classes. Recently, it has been shown that high quality seeds indicating discriminative object regions can be obtained from image-level labels. Without additional information, obtaining the full extent of the object is an inherently ill-posed problem due to co-occurrences. We propose using a saliency model as additional information and hereby exploit prior knowledge on the object extent and image statistics. We show how to combine both information sources in order to recover 80% of the fully supervised performance - which is the new state of the art in weakly supervised training for pixel-wise semantic labelling. The code is available at https://goo.gl/KygSeb.

研究动机与目标

• 解决在无像素级标注的情况下训练精确像素级语义分割模型的挑战。
• 通过将显著性作为先验，超越判别性物体种子以预测物体范围，从而改进弱监督学习。
• 在仅使用图像级别监督的情况下实现最先进性能，最大限度减少对昂贵像素标注的依赖。
• 分析物体种子与显著性之间的协同作用，以指导深度网络训练。
• 证明即使显著性图存在噪声，也能为物体边界预测提供强有力的归纳偏置。

提出的方法

• 该方法使用训练好的图像分类器，基于图像级别标签生成高置信度的物体种子——即对应于物体类别的判别性区域。
• 它采用在边界框标注上训练的类别无关显著性模型，以预测物体范围并抑制背景区域。
• 一种引导分割架构将种子和显著性图作为伪真实标签监督，用于训练分割网络。
• 引导标注器通过融合种子置信度和显著性图生成伪标签，并以前景/背景的精确率和召回率作为评估指标。
• 应用CRF后处理步骤以优化最终的分割预测结果。
• 整个流程在训练过程中完全避免使用像素级标注，仅依赖图像级别标签和显著性图。

实验结果

研究问题

• RQ1 当仅提供图像级别标签时，显著性图是否能有效引导完整物体范围的恢复？
• RQ2 与仅使用种子相比，将物体种子与显著性图结合如何提升分割性能？
• RQ3 显著性模型的质量在多大程度上影响最终的分割精度？
• RQ4 仅使用图像级别标签和显著性图，弱监督模型能否实现接近全监督基线的性能？
• RQ5 在弱监督语义分割中，显著性相对于其他先验（如大小、人工修正）的相对贡献是什么？

主要发现

• 所提方法（同时使用物体种子和显著性图，记为$\mathcal{G}_2$）在Pascal VOC 2012测试集上实现了56.7的平均交并比（mIoU），达到全监督DeepLabv1性能的80.6%。
• 显著性图真值情况（使用真实显著性掩码）实现了56.9 mIoU，表明通过改进显著性模型仍有进一步提升空间。
• 即使不使用种子，仅使用显著性的引导方法（$\mathcal{G}_0$）也达到了48.8 mIoU，证明显著性图本身即为强大的监督信号。
• 该方法显著优于仅使用图像级别标签的先前最先进方法，包括MIL-FCN、CCNN、WSSL和SEC。
• 引入显著性图使性能相比仅使用种子的基线（$\mathcal{G}_0$ vs. $\mathcal{G}_2$）提升了5.1个百分点绝对值，证实其在范围预测中的关键作用。
• 该方法在所有仅使用图像级别标签且无任何人工干预修正的方法中，实现了迄今为止报告的最佳性能。