[论文解读] Class-independent sequential full image segmentation, using a convolutional net that finds a segment within an attention region, given a pointer pixel within this segmen t

Sagi Eppel|arXiv (Cornell University)|Jan 1, 2019

Advanced Neural Network Applications参考文献 4被引用 2

一句话总结

该论文提出了一种类无关的、基于序列的完整图像分割方法，采用全卷积网络（FCN）根据一个指针像素和可选的感兴趣区域（RoI）掩码来预测分割掩码。该模型在COCO全景数据集的熟悉类别上达到67%的IoU，在未见类别上达到53%的IoU，展示了对'事物'和'stuff'两类对象均具备鲁棒的零样本分割能力，且无需类别特定的训练。

ABSTRACT

This work examines the use of a fully convolutional net (FCN) to find an image segment, given a pixel within this segment region. The net receives an image, a point in the image and a region of interest (RoI ) mask. The net output is a binary mask of the segment in which the point is located. The region where the segment can be found is contained within the input RoI mask. Full image segmentation can be achieved by running this net sequentially, region-by-region on the image, and stitching the output segments into a single segmentation map. This simple method addresses two major challenges of image segmentation: 1) Segmentation of unknown categories that were not included in the training set. 2) Segmentation of both individual object instances (things) and non-objects (stuff), such as sky and vegetation. Hence, if the pointer pixel is located within a person in a group, the net will output a mask that covers that individual person; if the pointer point is located within the sky region, the net returns the region of the sky in the image. This is true even if no example for sky or person appeared in the training set. The net was tested and trained on the COCO panoptic dataset and achieved 67% IOU for segmentation of familiar classes (that were part of the net training set) and 53% IOU for segmentation of unfamiliar classes (that were not included in the training).

研究动机与目标

• 解决在训练期间未见过的未知对象类别分割的挑战。
• 在单一、类无关的框架中统一实例分割与'stuff'分割。
• 通过基于指针的网络实现逐区域推理，完成完整图像分割。
• 通过学习通用分割模式，减少对标注类别的依赖。
• 在零样本设置下，评估模型在熟悉与不熟悉类别上的性能。

提出的方法

• 训练一个全卷积网络（FCN），在给定图像、该区域内一个指针像素以及可选的RoI掩码时，预测单个分割区域的二值掩码。
• RoI掩码可限制分割搜索空间，提高定位精度。
• 网络在COCO全景数据集的多样化分割区域上进行训练，不使用类别标签，学习类无关的分割模式。
• 通过迭代应用该网络实现完整图像分割：在当前RoI中随机选择一个指针像素，预测分割区域，将其从RoI中移除，并重复此过程直至覆盖率达到95%以上。
• 将预测的分割掩码拼接成最终的分割图。
• 该方法无需类别特定的监督，仅依赖空间上下文和像素级线索。

实验结果

研究问题

• RQ1 类无关的FCN是否能够仅凭一个指针像素，对任意图像区域进行分割，即使面对未见过的类别？
• RQ2 RoI掩码在提升分割准确性和定位精度方面效果如何？
• RQ3 基于指针的网络的序列化应用是否能实现高精度的完整图像分割？
• RQ4 在零样本分割中，熟悉类别与未知类别之间的性能差距如何？
• RQ5 该方法如何统一处理'事物'（如人、动物）和'stuff'（如天空、草地）？

主要发现

• 该模型在COCO全景数据集的熟悉类别上达到67%的平均IoU，证明其在已知类别上的强大性能。
• 该模型在训练集中未出现的不熟悉类别上达到53%的平均IoU，证明其具备有效的零样本分割能力。
• 引入RoI掩码带来了微小但可测量的性能提升，使完整图像分割的平均IoU从59%提高到61%。
• 主要错误来源为小尺寸分割区域和具有精细结构的部件（如电脑键盘），表明在子对象细节分割方面仍存在局限。
• 逐区域的序列化方法成功实现了超过95%覆盖度的完整图像分割，验证了该方法的可扩展性。
• 该方法在无需类别特定训练的情况下，成功分割了单个物体实例（'things'）和非物体区域（'stuff'）。