[论文解读] Amodal Instance Segmentation

Ke Li, Jitendra Malik|arXiv (Cornell University)|Apr 27, 2016

Advanced Neural Network Applications参考文献 26被引用 14

一句话总结

该论文提出了首个用于无模态实例分割的方法，仅通过从标准模态实例分割标注中生成的合成遮挡进行训练。该方法使用卷积神经网络从被遮挡的图像中预测无模态掩码，并引入迭代边界框扩展技术以推断无模态边界框，在PASCAL VOC和PASCAL 3D+基准上实现了最先进性能，相较于先前方法在50% IoU下实现了11.1个百分点的mAPr提升。

ABSTRACT

We consider the problem of amodal instance segmentation, the objective of which is to predict the region encompassing both visible and occluded parts of each object. Thus far, the lack of publicly available amodal segmentation annotations has stymied the development of amodal segmentation methods. In this paper, we sidestep this issue by relying solely on standard modal instance segmentation annotations to train our model. The result is a new method for amodal instance segmentation, which represents the first such method to the best of our knowledge. We demonstrate the proposed method's effectiveness both qualitatively and quantitatively.

研究动机与目标

• 为解决公开可用的无模态分割标注缺失的问题，该问题已阻碍了该领域的发展。
• 开发一种能够预测实例分割中可见与被遮挡部分的模型，从而实现遮挡推理。
• 训练一个深度学习模型用于无模态实例分割，而无需真实无模态标注。
• 提出一种新颖策略，从未模态分割热力图中推断无模态边界框。
• 证明基于模态标注生成的合成数据可有效用于训练真实世界无模态分割模型。

提出的方法

• 对已知模态实例分割掩码的图像应用合成遮挡，生成训练数据，其中原始掩码成为无模态掩码的真实标签。
• 使用仅依赖模态标注作为监督信号的卷积神经网络，从被遮挡图像中恢复原始无模态掩码。
• 该模型采用U-Net风格架构并引入跳跃连接，以保留空间细节，实现更精确的无模态掩码预测。
• 提出迭代边界框扩展技术，从模态边界框出发，基于掩码置信度逐步扩展，以从未模态分割热力图中推断无模态边界框。
• 该方法在推理阶段无需无模态边界框标注，完全依赖热力图引导扩展过程。
• 该框架被整合进基于Faster R-CNN进行检测、并使用所提模型进行无模态分割的检测与分割流水线中。

实验结果

研究问题

• RQ1 能否仅使用标准模态实例分割标注有效训练无模态实例分割？
• RQ2 模型如何在训练过程中未见过完整物体的情况下学习预测被遮挡的物体部分？
• RQ3 从模态标注生成的合成遮挡数据能否作为真实无模态标注的有效替代？
• RQ4 如何从未模态分割输出中预测无模态边界框，而无需真实标签监督？
• RQ5 所提方法是否能泛化至真实遮挡场景，并在无模态分割任务中超越最先进模态分割模型？

主要发现

• 当与Faster R-CNN结合时，所提方法在50% IoU下达到45.2的平均区域平均精度（mAPr），在70% IoU下达到22.6，分别比IIS基线高出11.1和8.6个百分点。
• 在73%的物体上，所提方法预测的无模态掩码与真实标签的IoU高于IIS模型的模态掩码，重叠度最高提升达50%。
• 该方法在所有IoU阈值下均提升准确率，且准确率曲线下方面积更大，表明其性能具有持续优越性。
• 该模型对真实遮挡具有良好的泛化能力，即使未在真实无模态数据上微调，其生成的无模态掩码也比最先进模态方法更准确。
• 消融实验证实，合成数据生成策略与迭代边界框扩展技术均显著提升了模型性能。
• 该方法在PASCAL VOC与PASCAL 3D+数据集上均达到最先进性能，展现出对复杂及关节式物体的强大泛化能力。