[论文解读] Pseudo Mask Augmented Object Detection

Xiangyun Zhao, Shuang Liang+1 more|arXiv (Cornell University)|Mar 15, 2018

Advanced Neural Network Applications参考文献 36被引用 5

一句话总结

本文提出伪掩码增强检测（PAD），一种通过图割优化和分割分支的自顶向下反馈，迭代优化从边界框标注中生成的伪实例分割掩码，从而提升目标检测性能的方法。该方法在使用ResNet-101的PASCAL VOC 2012数据集上实现了79.5%的mAP，达到当前最优水平，证明弱监督实例级分割信号可显著提升检测性能。

ABSTRACT

In this work, we present a novel and effective framework to facilitate object detection with the instance-level segmentation information that is only supervised by bounding box annotation. Starting from the joint object detection and instance segmentation network, we propose to recursively estimate the pseudo ground-truth object masks from the instance-level object segmentation network training, and then enhance the detection network with top-down segmentation feedbacks. The pseudo ground truth mask and network parameters are optimized alternatively to mutually benefit each other. To obtain the promising pseudo masks in each iteration, we embed a graphical inference that incorporates the low-level image appearance consistency and the bounding box annotations to refine the segmentation masks predicted by the segmentation network. Our approach progressively improves the object detection performance by incorporating the detailed pixel-wise information learned from the weakly-supervised segmentation network. Extensive evaluation on the detection task in PASCAL VOC 2007 and 2012 [12] verifies that the proposed approach is effective.

研究动机与目标

• 仅使用边界框标注提升目标检测性能，无需像素级分割掩码。
• 通过从弱监督（边界框）生成伪掩码，解决实例级分割掩码标注成本过高的问题。
• 通过迭代反馈驱动训练，实现检测与分割网络之间的相互提升。
• 探究分割反馈如何通过共享特征框架中的自顶向下监督直接增强检测性能。

提出的方法

• 该方法采用类似期望最大化（EM）的交替优化策略，交替进行伪掩码估计与网络参数更新。
• 利用基于图割的推理方法，迭代优化伪掩码，以保证低层次外观一致性并尊重真实边界框约束。
• 提出一种新型1D边界框损失，用于监督伪掩码学习，提升优化过程中的定位精度。
• 在全局和实例两个层级，将分割分支的自顶向下反馈注入检测网络，以提升检测性能。
• 检测与分割分支共享早期卷积层，实现特征共享，同时保持检测与掩码预测的独立头部。
• 框架采用端到端训练，通过交替优化：首先使用图割方法优化伪掩码，然后利用优化后的掩码更新网络。

实验结果

研究问题

• RQ1 仅使用边界框标注是否能显著提升目标检测性能，而无需真实分割掩码？
• RQ2 如何有效从弱监督（边界框）中优化伪分割掩码，以逼近真实掩码？
• RQ3 在弱监督设置下，自顶向下分割反馈对检测精度有何影响？
• RQ4 1D边界框损失的引入如何提升伪掩码学习质量？
• RQ5 伪掩码的迭代优化是否能带来检测与分割性能的一致且可测量的提升？

主要发现

• PAD在使用ResNet-101的PASCAL VOC 2012数据集上达到79.5%的mAP，超越所有先前方法，且在相同训练协议下表现最优。
• 与基线Faster R-CNN（VGG-16）相比，检测mAP提升超过5%，展现出显著的性能增益。
• 伪掩码的迭代优化带来持续改进：在SDS任务中，mAP b从第1轮的52.1%提升至最终轮次的58.5%。
• 消融实验表明，1D边界框损失与图割优化的引入显著提升了伪掩码质量。
• 全局与实例层级的自顶向下反馈均对检测性能有贡献，二者均有效且具有互补性。
• 该方法仅带来轻微的推理时间开销（0.49秒 vs. 0.42秒的Faster R-CNN），参数量增加约100万，适用于实际部署。