[论文解读] Pixel Objectness

Suyog Dutt Jain, Bo Xiong+1 more|arXiv (Cornell University)|Jan 19, 2017

Advanced Image and Video Retrieval Techniques参考文献 48被引用 6

一句话总结

本文提出了一种新颖的端到端深度学习框架，名为 Pixel Objectness，可为单张图像中所有类似物体的区域生成像素级前景分割结果，即使面对训练过程中未见过的物体类别亦可实现。通过在训练过程中结合图像级标签与稀疏边界标注，该方法在 ImageNet 和 MIT Object Discovery 数据集上实现了最先进性能，能有效泛化至超过 100 万张未见过的图像，并提升图像检索与图像重定向等下游任务的性能。

ABSTRACT

We propose an end-to-end learning framework for generating foreground object segmentations. Given a single novel image, our approach produces pixel-level masks for all object-like regions---even for object categories never seen during training. We formulate the task as a structured prediction problem of assigning foreground/background labels to all pixels, implemented using a deep fully convolutional network. Key to our idea is training with a mix of image-level object category examples together with relatively few images with boundary-level annotations. Our method substantially improves the state-of-the-art on foreground segmentation for ImageNet and MIT Object Discovery datasets. Furthermore, on over 1 million images, we show that it generalizes well to segment object categories unseen in the foreground maps used for training. Finally, we demonstrate how our approach benefits image retrieval and image retargeting, both of which flourish when given our high-quality foreground maps.

研究动机与目标

• 开发一种无需为每张图像提供密集标注即可生成精确像素级物体分割的方法。
• 解决在训练过程中未见过的物体类别上实现泛化的问题。
• 提升在 ImageNet 和 MIT Object Discovery 等基准数据集上的前景分割性能。
• 实现在大规模图像集合中以最小标注成本进行实际部署。
• 在图像检索与图像重定向等下游应用中展示其有效性。

提出的方法

• 该方法将前景分割建模为结构化预测问题，利用全卷积网络为每个像素分配前景/背景标签。
• 在训练过程中结合使用图像级物体类别标签与少量带有边界级标注的图像。
• 网络端到端训练以预测像素级掩码，从而实现对未见物体类别的零样本泛化。
• 该架构采用全卷积层以保持空间分辨率，并支持对整幅图像的密集预测。
• 通过混合监督训练，模型可从图像级标签中学习判别性特征，同时利用边界标注细化物体边界。
• 该框架具备可扩展性与高效性，支持在大规模图像集合上进行推理。

实验结果

研究问题

• RQ1 深度学习模型是否仅使用图像级与稀疏边界标注即可实现高质量的像素级物体分割？
• RQ2 该模型在训练中未出现过的物体类别上的泛化能力如何？
• RQ3 混合监督（图像级 + 边界级）对分割精度与泛化能力有何影响？
• RQ4 生成的前景图是否能提升图像检索与图像重定向等下游视觉任务的性能？
• RQ5 该方法在 ImageNet 与 MIT Object Discovery 等大规模数据集上的表现如何？

主要发现

• 该方法在 ImageNet 与 MIT Object Discovery 数据集上的前景分割任务中达到了最先进性能。
• 其对训练过程中未见的物体类别具有出色的泛化能力，可有效处理超过 100 万张相关图像。
• 当提供高质量的前景图时，该模型显著提升了图像检索与图像重定向任务的性能。
• 采用混合监督（图像级标签配合稀疏边界标注）可在极低标注成本下实现优异性能。
• 该框架展示了对未见物体类别的鲁棒零样本泛化能力，是现有方法的重要突破。