[论文解读] Instance Segmentation by Deep Coloring

V. A. Kulikov, Victor Yurchenko+1 more|arXiv (Cornell University)|Jul 26, 2018

Industrial Vision Systems and Defect Detection参考文献 30被引用 29

一句话总结

本文提出了一种名为 Deep Coloring 的新方法，通过训练卷积网络将像素分配给一组固定的颜色标签，将实例分割问题简化为语义分割问题。训练期间，通过动态着色使实例分割损失最小化，同时确保相邻物体获得不同颜色；推理时，通过连通组件分析恢复各个实例。该方法在 Cityscapes、CVPPP 和大肠杆菌显微图像数据集上使用标准语义分割架构实现了具有竞争力的性能。

ABSTRACT

We propose a new and, arguably, a very simple reduction of instance segmentation to semantic segmentation. This reduction allows to train feed-forward non-recurrent deep instance segmentation systems in an end-to-end fashion using architectures that have been proposed for semantic segmentation. Our approach proceeds by introducing a fixed number of labels (colors) and then dynamically assigning object instances to those labels during training (coloring). A standard semantic segmentation objective is then used to train a network that can color previously unseen images. At test time, individual object instances can be recovered from the output of the trained convolutional network using simple connected component analysis. In the experimental validation, the coloring approach is shown to be capable of solving diverse instance segmentation tasks arising in autonomous driving (the Cityscapes benchmark), plant phenotyping (the CVPPP leaf segmentation challenge), and high-throughput microscopy image analysis. The source code is publicly available: https://github.com/kulikovv/DeepColoring.

研究动机与目标

• 解决训练端到端前馈实例分割模型的挑战，使其比现有方法更简单、更快。
• 通过在训练期间引入动态着色机制，克服卷积网络中实例顺序不一致的问题。
• 通过一种简单简化方法，使标准语义分割架构（如 U-Net、PSPNet）可用于实例分割。
• 在无需架构复杂性或循环组件的情况下，在多样化实例分割基准上实现高性能。

提出的方法

• 在语义分割网络中使用固定数量的输出通道（颜色）来表示对象实例。
• 在训练期间使用一种规则动态分配颜色给实例，以最小化分割损失，同时确保相邻实例获得不同颜色。
• 应用一种受图着色启发的损失函数，鼓励来自不同实例的相邻像素具有不同的颜色标签。
• 使用标准交叉熵损失对像素级 Softmax 输出进行端到端训练。
• 在推理时通过在预测颜色图上应用连通组件分析来恢复各个实例。
• 融合策略：在推理时将语义头替换为预训练的 PSPNet，以在不重新训练的情况下提升性能。

实验结果

研究问题

• RQ1 能否通过一组固定的颜色标签，将实例分割有效简化为语义分割？
• RQ2 在训练期间通过动态、实时着色，是否能在无需显式实例监督的情况下，在推理时准确恢复实例？
• RQ3 所提出的方法是否能在使用标准语义分割架构的情况下，在多样化实例分割基准上实现具有竞争力的性能？
• RQ4 该方法是否能在自动驾驶、植物表型分析和显微成像等不同领域之间实现良好泛化？
• RQ5 在 mAP 和 mIoU 指标上，该方法与当前最先进实例分割模型相比表现如何？

主要发现

• Deep Coloring 方法在 Cityscapes 测试集上使用 U-Net 主干网络实现了 25.2 的平均精度（mAP），优于多个先前方法。
• 当与预训练的 PSPNet 语义头融合后，该方法在 Cityscapes 上实现了 25.2 的 mAP，表明在仅进行最小架构修改的情况下性能依然出色。
• 在 CVPPP 叶片分割挑战中，该方法成功分割了大量紧密排列的叶片，即使在小物体尺寸和拥挤场景下也表现良好。
• 该方法在高通量显微成像中表现出良好泛化能力，能有效处理包含大量实例的图像（如 E. coli 数据集）。
• 该方法在所有三个基准上均实现了具有竞争力的性能，且仅使用标准语义分割架构和端到端训练。
• 消融实验表明，尽管共享主干网络参数，两分支架构（着色 + 语义头）相比单分支语义分割模型，显著提升了实例分割 mAP。