[论文解读] Simultaneous Detection and Segmentation

Bharath Hariharan, Pablo Arbeláez+2 more|arXiv (Cornell University)|Jul 7, 2014

Advanced Neural Network Applications参考文献 26被引用 199

一句话总结

本文提出了一种新颖的深度学习框架用于同时检测与分割（SDS），通过将区域提议与类别特定的、自顶向下的细化相结合，利用卷积神经网络实现。该方法在基线模型基础上实现了7个百分点的APr提升（相对提升16%），语义分割性能提升5个百分点（相对提升10%），同时改善了目标检测性能，证明了联合训练分割与检测任务的有效性。

ABSTRACT

We aim to detect all instances of a category in an image and, for each instance, mark the pixels that belong to it. We call this task Simultaneous Detection and Segmentation (SDS). Unlike classical bounding box detection, SDS requires a segmentation and not just a box. Unlike classical semantic segmentation, we require individual object instances. We build on recent work that uses convolutional neural networks to classify category-independent region proposals (R-CNN [16]), introducing a novel architecture tailored for SDS. We then use category-specific, top- down figure-ground predictions to refine our bottom-up proposals. We show a 7 point boost (16% relative) over our baselines on SDS, a 5 point boost (10% relative) over state-of-the-art on semantic segmentation, and state-of-the-art performance in object detection. Finally, we provide diagnostic tools that unpack performance and provide directions for future work.

研究动机与目标

• 通过将两个任务统一到单一框架中，弥合目标检测（边界框）与语义分割（像素级标签）之间的差距。
• 开发一种方法，能够检测某一类别的所有实例，并为每个实例分配精确的像素级分割掩码。
• 通过联合训练区域提议和前景掩码的特征提取器，提升检测与分割任务的性能。
• 引入新的评估指标——APr与APvol，以更准确地评估分割精度与实例级定位性能。
• 诊断检测与分割中的失败模式，为未来模型改进提供指导。

提出的方法

• 使用MCG（最大稳定静态区域）为每张图像生成2000个与类别无关的区域提议。
• 分别使用微调后的CNN提取边界框和区域掩码的特征，并通过端到端的联合训练提升特征学习效果。
• 利用在CNN特征上训练的SVM对每个区域提议进行分类，以预测类别得分。
• 对得分后的提议应用非极大值抑制（NMS），并使用类别特定的粗略掩码预测对保留的候选进行细化。
• 将细化后的掩码与原始区域提议结合，以提升定位与分割精度。
• 通过粘贴方案将最终输出转换为像素级标签，用于在语义分割基准上进行评估。

实验结果

研究问题

• RQ1 统一的深度学习框架能否在性能上优于独立任务模型，实现对目标检测与实例级分割的联合优化？
• RQ2 区域提议与前景掩码特征的联合训练对分割与检测精度有何影响？
• RQ3 定位错误与误报对分割性能有何影响？如何诊断并缓解此类问题？
• RQ4 所提出的SDS框架在语义分割与目标检测任务中，能在多大程度上提升SOTA结果？
• RQ5 不同重叠阈值对性能有何影响？何种指标最能全面捕捉跨阈值的性能表现？

主要发现

• 所提出的SDS框架实现了49.5%的平均APr，相较于基线方法绝对提升7个百分点（相对提升16%）。
• 该方法将平均APb从R-CNN的51.0%提升至53.0%，在目标检测任务中达到SOTA性能。
• 在语义分割方面，该方法在VOC2011测试集上达到52.6%的平均像素交并比（IU），在VOC2012测试集上达到51.6%，相较于先前SOTA方法绝对提升5个百分点（相对提升10%）。
• APvol指标显示SDS的值为41.4%，表明在不同重叠阈值下均表现优异，且显著降低了定位错误。
• 诊断分析表明，定位错误是性能损失的最大贡献因素（最佳模型中APr损失达15.8%），而使用类别特定掩码对提议进行细化可有效降低此类错误。
• 该模型在复杂场景中泛化能力良好，即使在杂乱或非典型姿态下也能正确区分各个实例，如定性示例所示。