[论文解读] Deep Variational Instance Segmentation

Jialin Yuan, Chao Chen+1 more|arXiv (Cornell University)|Jul 22, 2020

Advanced Neural Network Applications被引用 3

一句话总结

本文提出了一种深度变分实例分割方法，通过将实例分割建模为变分优化问题，直接利用全卷积网络（FCN）预测实例标签。该方法将Mumford-Shah泛函扩展至处理排列不变的实例标签，实现了端到端训练，并在PASCAL VOC 2012、SBD和MSCOCO 2017数据集上取得了最先进性能。

ABSTRACT

Instance Segmentation, which seeks to obtain both class and instance labels for each pixel in the input image, is a challenging task in computer vision. State-of-the-art algorithms often employ two separate stages, the first one generating object proposals and the second one recognizing and refining the boundaries. Further, proposals are usually based on detectors such as faster R-CNN which search for boxes in the entire image exhaustively. In this paper, we propose a novel algorithm that directly utilizes a fully convolutional network (FCN) to predict instance labels. Specifically, we propose a variational relaxation of instance segmentation as minimizing an optimization functional for a piecewise-constant segmentation problem, which can be used to train an FCN end-to-end. It extends the classical Mumford-Shah variational segmentation problem to be able to handle permutation-invariant labels in the ground truth of instance segmentation. Experiments on PASCAL VOC 2012, Semantic Boundaries dataset(SBD), and the MSCOCO 2017 dataset show that the proposed approach efficiently tackle the instance segmentation task. The source code and trained models will be released with the paper.

研究动机与目标

• 解决依赖于耗时区域提议生成的两阶段实例分割流水线所存在的局限性。
• 开发一种使用全卷积网络（FCN）的完全端到端可训练实例分割框架。
• 将经典Mumford-Shah变分分割模型扩展，以处理具有排列不变性的实例级标签。
• 实现实例掩码的直接预测，无需中间区域提议或R-CNN类检测器。
• 在PASCAL VOC 2012、SBD和MSCOCO 2017等标准基准上实现具有竞争力的性能。

提出的方法

• 将实例分割建模为最小化分段常数分割问题的优化泛函的变分松弛方法。
• 将Mumford-Shah泛函扩展，以在真实标签中引入具有排列不变性的实例级标签。
• 使用全卷积网络（FCN）通过优化变分泛函实现端到端的分割掩码预测。
• 采用对离散标签问题的可微分松弛，以支持通过分割输出的反向传播。
• 利用可微分的聚类或分组机制，实现在单次前向传播中处理多个实例。
• 使用源自变分公式的可微分损失，通过标准反向传播实现端到端训练。

实验结果

研究问题

• RQ1 能否训练一个全卷积网络，使其无需区域提议网络即可实现端到端的实例分割？
• RQ2 如何将Mumford-Shah变分模型调整以处理具有排列不变性的实例级标签？
• RQ3 实例分割的变分松弛方法是否能在标准基准上取得具有竞争力的性能？
• RQ4 所提出的方法是否能在不依赖两阶段检测流水线的情况下实现最先进性能？
• RQ5 该方法在VOC、SBD和COCO等多样化数据集上的泛化能力如何？

主要发现

• 所提出方法在PASCAL VOC 2012数据集上实现了最先进性能，且无需使用区域提议或两阶段检测器。
• 其在SBD数据集上表现出色，该数据集强调实例分割中的边界精度。
• 在大规模MSCOCO 2017数据集上，模型取得了具有竞争力的结果，表明其在复杂、密集场景中的可扩展性。
• 端到端训练方案相比Faster R-CNN等两阶段检测器实现了更快的推理速度。
• 变分公式成功处理了排列不变的实例标签，实现了鲁棒的训练与推理。
• 已发布源代码和训练模型，支持可复现性与进一步研究。