[论文解读] Label-PEnet: Sequential Label Propagation and Enhancement Networks for Weakly Supervised Instance Segmentation

Weifeng Ge, Sheng Guo+2 more|arXiv (Cornell University)|Oct 7, 2019

Advanced Neural Network Applications参考文献 43被引用 14

一句话总结

Label-PEnet 提出了一种用于弱监督实例分割的顺序级联框架，通过课程学习逐步将图像级标签细化为像素级预测。该框架包含四个模块：多标签分类、目标检测、实例精炼和实例分割，实现了当前最优性能，在 PASCAL VOC 2007 上达到 53.1% 的 mAP，在 VOC 2012 上达到 49.2%，优于以往的弱监督方法，并接近全监督结果。

ABSTRACT

Weakly-supervised instance segmentation aims to detect and segment object instances precisely, given imagelevel labels only. Unlike previous methods which are composed of multiple offline stages, we propose Sequential Label Propagation and Enhancement Networks (referred as Label-PEnet) that progressively transform image-level labels to pixel-wise labels in a coarse-to-fine manner. We design four cascaded modules including multi-label classification, object detection, instance refinement and instance segmentation, which are implemented sequentially by sharing the same backbone. The cascaded pipeline is trained alternatively with a curriculum learning strategy that generalizes labels from high-level images to low-level pixels gradually with increasing accuracy. In addition, we design a proposal calibration module to explore the ability of classification networks to find key pixels that identify object parts, which serves as a post validation strategy running in the inverse order. We evaluate the efficiency of our Label-PEnet in mining instance masks on standard benchmarks: PASCAL VOC 2007 and 2012. Experimental results show that Label-PEnet outperforms the state-of-the-art algorithms by a clear margin, and obtains comparable performance even with the fully-supervised approaches.

研究动机与目标

• 为解决仅使用信息量远低于像素级监督的图像级标签实现高精度实例分割的挑战。
• 克服现有弱监督方法依赖多个离线阶段或无法逐步从粗到细细化预测的局限性。
• 开发一种统一的、端到端可训练的框架，利用卷积神经网络的层次化特征学习能力，将图像级标签传播至像素级预测。
• 通过引入一种提案校准模块，从分类特征中识别关键物体部分，从而提升检测与分割精度。

提出的方法

• 该框架由四个级联模块组成：多标签分类、目标检测、实例精炼和实例分割，均共享一个主干网络。
• 采用课程学习策略，按顺序训练各模块，逐步提高从图像级到像素级预测的监督精度。
• 引入提案校准模块，利用分类网络特征识别判别性物体部分，并按逆序对目标提案进行精炼。
• 利用早期阶段的特征图作为后期阶段的监督信号，实现对目标位置和掩码的迭代精炼。
• 目标检测由前一模块的分类分数引导，实例分割则通过早期阶段生成的掩码进一步精炼。
• 整个流程采用两阶段训练：首先进行级联预训练，随后通过前向-后向学习循环进一步提升性能。

实验结果

研究问题

• RQ1 一个顺序级联的深度学习框架能否有效将图像级标签转化为精确的像素级实例分割掩码？
• RQ2 通过多个模块实现的渐进式精炼，相比单阶段或非顺序方法，在弱监督实例分割中能否显著提升性能？
• RQ3 分类网络在多大程度上可被用于识别关键物体部分，从而提升定位与分割精度？
• RQ4 整合一种分析分类网络特征图的提案校准模块，是否能带来检测与分割性能的可测量提升？
• RQ5 此类框架能否仅使用图像级标注，实现与全监督方法相当的性能？

主要发现

• Label-PEnet 在 PASCAL VOC 2007 测试集上达到 53.1% 的 mAP，比次佳方法高出 1.9%，优于 MEFF、OICR 和 HCP+DSD+OSSH3。
• 在 PASCAL VOC 2012 上，Label-PEnet 达到 49.2% 的 mAP，较先前工作报告的最新结果提升 1.7%。
• 在 VOC 2007 上实现 68.2% 的 CorLoc，在 VOC 2012 上实现 71.3%，分别较此前最佳结果提升 1.2% 和 1.9%。
• 实例分割模块在 VOC 2007 上达到 51.3% 的 mAP，最终通过前向-后向学习将性能提升至 53.1%，较级联预训练阶段提升 1.8%。
• 在弱监督语义分割基准上，Label-PEnet 实现 57.2% 的平均 IoU，分别较 AE-SPL 和 MCOF 提升 1.6% 和 1%。
• 消融实验证实各模块均有显著贡献：mAP 从仅分类阶段的 26.9% 提升至检测与精炼后的 49.7%，最终在分割阶段达到 51.3%，证明了顺序精炼的有效性。