[论文解读] Boundary-aware Instance Segmentation

Zeeshan Hayder, Xuming He+1 more|arXiv (Cornell University)|Dec 9, 2016

Advanced Neural Network Applications参考文献 31被引用 9

一句话总结

本文提出了一种边界感知实例分割方法，采用基于距离变换的表示方式，能够预测超出物体提议边界框限制的掩码，从而提升对不准确提议的鲁棒性。物体掩码网络（OMN）采用残差反卷积架构，将截断的距离图解码为精确的二值掩码，在PASCAL VOC 2012和Cityscapes数据集上实现了最先进性能，尤其在高IoU阈值下表现优异。

ABSTRACT

We address the problem of instance-level semantic segmentation, which aims at jointly detecting, segmenting and classifying every individual object in an image. In this context, existing methods typically propose candidate objects, usually as bounding boxes, and directly predict a binary mask within each such proposal. As a consequence, they cannot recover from errors in the object candidate generation process, such as too small or shifted boxes. In this paper, we introduce a novel object segment representation based on the distance transform of the object masks. We then design an object mask network (OMN) with a new residual-deconvolution architecture that infers such a representation and decodes it into the final binary object mask. This allows us to predict masks that go beyond the scope of the bounding boxes and are thus robust to inaccurate object candidates. We integrate our OMN into a Multitask Network Cascade framework, and learn the resulting boundary-aware instance segmentation (BAIS) network in an end-to-end manner. Our experiments on the PASCAL VOC 2012 and the Cityscapes datasets demonstrate the benefits of our approach, which outperforms the state-of-the-art in both object proposal generation and instance segmentation.

研究动机与目标

• 为解决实例分割方法对物体提议生成误差（如框偏移或过小）的敏感性问题。
• 开发一种不受初始提议空间范围限制的掩码预测机制。
• 设计一种完全可微分、端到端可训练的网络，利用边界感知表示以提升分割精度。
• 在实例分割与物体提议生成任务上评估所提方法，验证其通用性与优越性。

提出的方法

• 将每个物体分割表示为多值映射，编码提议框内每个像素到物体边界的截断最小距离。
• 对截断的距离值进行离散化，并将每个像素的距离值编码为二进制向量，将问题转化为像素级分类任务。
• 使用残差反卷积网络预测二进制向量表示中每个位的概率图，实现空间上采样与掩码重建。
• 应用逆距离变换将预测的距离图转换为最终的二值掩码，使其可扩展至原始边界框之外。
• 将物体掩码网络（OMN）集成到多任务网络级联框架中，实现端到端训练，用于实例级语义分割。
• 学习一个重排序评分函数用于提议生成，以便与基线方法公平比较，因为原始RPN分数不适用于超出框范围的掩码。

实验结果

研究问题

• RQ1 基于距离变换的表示能否提升实例分割对不准确物体提议的鲁棒性？
• RQ2 残差反卷积网络架构是否能实现从截断距离图中准确解码掩码，同时支持超出提议框的预测？
• RQ3 所提出的物体掩码网络（OMN）能否生成质量与最先进方法相当的分割提议？
• RQ4 边界感知实例分割（BAIS）框架是否在PASCAL VOC 2012和Cityscapes等挑战性基准上优于现有方法？

主要发现

• 在PASCAL VOC 2012上，所提BAIS框架实现了最先进性能，尤其在高IoU阈值下表现更优，体现出在精确分割场景下的优势。
• 在PASCAL VOC 2012上，OMN的AR@10为47.8，AR@100为51.8，分别优于最佳基线方法（MNC+score）2.1和2.7个百分点。
• 在Cityscapes上，该方法即使在存在多个重叠物体的复杂场景中，也能生成准确且细节丰富的实例级分割结果。
• 当使用10或100个提议时，该方法在高IoU阈值下全面超越所有基线方法，这在实际实例分割流程中具有代表性。
• 失败案例通常表现为单个实例被分割为多个片段，表明在处理紧密排列或重叠物体时仍存在挑战。
• 消融实验表明，允许掩码超出框范围可提升性能，因为限制预测在框内的基线模型性能劣于所提方法。