[论文解读] Instance-aware Semantic Segmentation via Multi-task Network Cascades

Jifeng Dai, Kaiming He+1 more|arXiv (Cornell University)|Dec 14, 2015

Advanced Neural Network Applications参考文献 29被引用 81

一句话总结

本文提出多任务网络级联（MNC），一种新颖的端到端深度学习框架，用于实例感知语义分割。该框架将任务分解为三个级联的子任务：实例区分、掩码估计和目标分类。通过在各阶段共享特征并实现空间坐标上的可微反向传播，MNC在PASCAL VOC（63.5% mAP）和MS COCO（28.2% mAP@[.5:.95]）上达到最先进性能，同时使用VGG-16模型每张图像推理仅需360ms，比先前方法快两个数量级。

ABSTRACT

Semantic segmentation research has recently witnessed rapid progress, but many leading methods are unable to identify object instances. In this paper, we present Multi-task Network Cascades for instance-aware semantic segmentation. Our model consists of three networks, respectively differentiating instances, estimating masks, and categorizing objects. These networks form a cascaded structure, and are designed to share their convolutional features. We develop an algorithm for the nontrivial end-to-end training of this causal, cascaded structure. Our solution is a clean, single-step training framework and can be generalized to cascades that have more stages. We demonstrate state-of-the-art instance-aware semantic segmentation accuracy on PASCAL VOC. Meanwhile, our method takes only 360ms testing an image using VGG-16, which is two orders of magnitude faster than previous systems for this challenging problem. As a by product, our method also achieves compelling object detection results which surpass the competitive Fast/Faster R-CNN systems. The method described in this paper is the foundation of our submissions to the MS COCO 2015 segmentation competition, where we won the 1st place.

研究动机与目标

• 解决不依赖于缓慢的外部掩码提议模块的实例感知语义分割挑战。
• 设计一种多任务、级联的深度学习架构，通过子任务间共享特征以提升效率并改善特征学习。
• 实现因果级联网络结构的端到端训练，使梯度能通过预测边界框的空间坐标反向传播。
• 在保持低推理时间的同时实现高精度实例分割，适用于实际部署。
• 通过在PASCAL VOC和MS COCO基准上取得最先进结果，证明模型具有强大的泛化能力。

提出的方法

• 该方法采用三阶段级联网络：(1) 无类别依赖的边界框预测以实现实例区分，(2) 每个实例的像素级掩码估计，(3) 每个实例的类别分类。
• 所有阶段共享相同的初始卷积特征图，减少计算量并增强特征一致性。
• 引入可微层，使梯度能通过预测边界框的空间坐标反向传播，从而实现因果级联结构的端到端训练。
• 该框架可扩展至更多阶段，并通过链式法则在单次反向传播中同时计算特征图与框坐标梯度。
• 使用标准分类与回归损失对每阶段进行端到端训练，正负掩码提议通过IoU采样策略生成。
• 该方法在更深网络（如ResNet-101）上泛化良好，并支持多尺度测试与全局上下文建模，进一步提升精度。

实验结果

研究问题

• RQ1 能否通过级联的多任务深度学习框架在不依赖外部掩码提议模块的前提下实现高精度的实例感知语义分割？
• RQ2 如何对具有相互依赖输出的因果多阶段网络进行端到端训练，同时保持通过空间坐标的梯度流动？
• RQ3 在实例分割中，子任务间的特征共享在多大程度上能同时提升精度与推理速度？
• RQ4 所提出的框架能否泛化到更深的网络架构，并在MS COCO等大规模基准上实现最先进性能？
• RQ5 端到端、单步训练框架是否能优于以往的两阶段或基于提议的方法？

主要发现

• 在PASCAL VOC 2012数据集上，MNC在mAP@[.5:.95]上达到63.5%，相比使用相同VGG-16主干网络的先前最先进方法提升3.0%。
• 该方法使用VGG-16时每张图像推理仅需360ms，比依赖缓慢掩码提议模块的先前系统快两个数量级。
• 在MS COCO 2015测试开发集上，MNC使用ResNet-101时达到24.6% mAP@[.5:.95]，相比VGG-16提升26%相对性能，经模型集成与多尺度测试后进一步达到28.2% mAP。
• 通过利用边界框输出，该模型在VOC 2007+2012上的目标检测任务中达到75.9% mAP，超越Faster R-CNN与Fast R-CNN系统。
• 该模型在MS COCO 2015实例分割赛道中获得第一名，证明其实际有效性与可扩展性。
• 端到端训练框架使模型能从更深的表征与大规模标注数据中获益，而无需增加架构或训练复杂度。