[论文解读] CenterMask: single shot instance segmentation with point representation

Yuqing Wang, Zhaoliang Xu+3 more|arXiv (Cornell University)|Apr 9, 2020

Advanced Neural Network Applications参考文献 32被引用 8

一句话总结

CenterMask 提出了一种简单、快速且准确的一阶段实例分割方法，该方法将掩码预测解耦为两个并行分支：使用物体中心点表示的局部形状预测，用于区分重叠实例；以及全局显著性图生成，用于精确的像素级分割。在单尺度推理下从零开始训练，其在 COCO 上实现了 34.5 的掩码 AP，推理速度为 12.3 fps，优于所有其他一阶段方法，仅略逊于速度慢得多的 TensorMask。

ABSTRACT

In this paper, we propose a single-shot instance segmentation method, which is simple, fast and accurate. There are two main challenges for one-stage instance segmentation: object instances differentiation and pixel-wise feature alignment. Accordingly, we decompose the instance segmentation into two parallel subtasks: Local Shape prediction that separates instances even in overlapping conditions, and Global Saliency generation that segments the whole image in a pixel-to-pixel manner. The outputs of the two branches are assembled to form the final instance masks. To realize that, the local shape information is adopted from the representation of object center points. Totally trained from scratch and without any bells and whistles, the proposed CenterMask achieves 34.5 mask AP with a speed of 12.3 fps, using a single-model with single-scale training/testing on the challenging COCO dataset. The accuracy is higher than all other one-stage instance segmentation methods except the 5 times slower TensorMask, which shows the effectiveness of CenterMask. Besides, our method can be easily embedded to other one-stage object detectors such as FCOS and performs well, showing the generalization of CenterMask.

研究动机与目标

• 开发一种无需锚框的简单、快速且准确的一阶段实例分割方法。
• 解决重叠物体场景下的实例区分问题以及像素级特征错位问题。
• 将掩码预测解耦为两个互补组件：与实例相关的局部形状和与实例无关的全局显著性，以提升准确率与速度。
• 实现对 FCOS 等其他一阶段检测器的泛化能力，证明其广泛适用性。

提出的方法

• 模型使用关键点估计头预测物体中心点位置，随后在这些点上提取特征，生成粗粒度的局部形状掩码。
• 全卷积主干网络生成全局显著性图，用于像素级前景-背景分类，实现精确的边界对齐。
• 最终实例掩码通过粗粒度、与实例相关的局部形状与高精度、与实例无关的全局显著性图进行逐元素相乘得到。
• 局部形状分支在中心点使用形状向量表示，可在重叠条件下实现有效的实例分离。
• 全局显著性图的作用类似于语义分割，提供高分辨率、对齐良好的特征，以实现精确的掩码边界。
• 该方法端到端从零开始训练，无需预训练权重，推理过程中无需使用 NMS。

实验结果

研究问题

• RQ1 一阶段实例分割模型是否能在无需锚框或复杂后处理的情况下实现高精度？
• RQ2 如何利用一种简单且可学习的表示方法，在重叠场景下有效区分物体实例？
• RQ3 是否能在不使用如 TensorMask 中昂贵且耗时的操作下，实现像素级特征对齐？
• RQ4 将局部形状与全局显著性相结合，能在多大程度上同时提升实例分离能力与掩码精度？
• RQ5 所提出的组件是否可泛化至其他一阶段检测器（如 FCOS）？

主要发现

• CenterMask 在 COCO 上使用单尺度训练与测试，实现了 34.5 的掩码 AP，推理速度为 12.3 fps，优于所有其他一阶段实例分割方法，仅略逊于速度慢 5 倍的 TensorMask。
• 仅使用局部形状分支即可在重叠场景下实现有效的实例分离，生成粗粒度但清晰可区分的掩码。
• 仅使用全局显著性分支可提供精确的分割结果，但在重叠情况下会因无法区分实例而产生伪影。
• 两个分支的结合在复杂场景中实现了最先进性能，既能实现准确的实例分离，又能生成高质量的掩码边界。
• 当集成到 FCOS 中时，CenterMask-FCOS 在 COCO test-dev 上实现了 38.5 mAP（使用 ResNeXt-101-FPN-DCN），优于 PolarMask，并在 LVIS 上与 Mask R-CNN 表现相当，且使用了更高精度的标注。
• 在 LVIS 基准测试中，CenterMask-FCOS 使用 ResNeXt-101-FPN-DCN 实现了 40.0 mAP，优于 Mask R-CNN 的 36.0 mAP。