[论文解读] Mining Objects: Fully Unsupervised Object Discovery and Localization From a Single Image.

Runsheng Zhang, Yaping Huang+4 more|arXiv (Cornell University)|Feb 26, 2019

Visual Attention and Saliency Detection参考文献 35被引用 6

一句话总结

本文提出物体位置挖掘（Object Location Mining, OLM），一种完全无监督的方法，用于在无任何标注的情况下发现并定位单张图像中的主导物体。通过将预训练卷积神经网络（CNN）的特征图转换为事务数据，并应用模式挖掘，OLM 识别出具有空间和外观一致性的共现模式，从而实现精确的物体定位与部件发现，在多个基准测试中达到最先进性能。

ABSTRACT

The goal of our work is to discover dominant objects without using any annotations. We focus on performing unsupervised object discovery and localization in a very general setting where only a single image is given. This is far more challenge than typical co-localization or weakly-supervised localization tasks. To tackle this problem, we propose a simple but effective pattern mining-based method, called Object Location Mining (OLM), which exploits the advantages of data mining and feature representation of pre-trained convolutional neural networks (CNNs). Specifically, we first convert the feature maps from a pre-trained CNN model into a set of transactions, and then discovers frequent patterns from transaction database through pattern mining techniques. We observe that those discovered patterns, i.e, co-occurrence highlighted regions, typically hold appearance and spatial consistency. Motivated by this observation, we can easily discover and localize possible objects by merging relevant meaningful patterns in an unsupervised manner. Extensive experiments on eleven benchmarks demonstrate that OLM achieves competitive localization performance compared with the state-of-the-art methods. We also evaluate our approach compared with unsupervised saliency detection methods and achieves best results on four benchmark datasets. Moreover, we conduct experiments on fine-grained classification to show that our proposed method can locate the entire object and parts accurately, which can benefit to improving the classification results significantly.

研究动机与目标

• 解决在无任何标注的情况下，单张图像中无监督物体发现与定位的挑战。
• 开发一种无需依赖边界框或分割标注即可定位完整物体及其部件的方法。
• 利用 CNN 特征图中共现模式的空间与外观一致性，实现鲁棒的物体定位。
• 在物体定位、显著性检测和细粒度分类任务上评估该方法。
• 证明通过模式挖掘实现的无监督物体发现可提升下游识别性能。

提出的方法

• 将预训练 CNN 的特征图转换为事务数据库，其中每个空间位置代表一组特征激活的事务。
• 应用模式挖掘技术，发现特征图中不同空间位置之间的频繁共现模式。
• 识别出表现出空间与外观一致性的有意义模式，指示潜在的物体区域。
• 以无监督方式合并相关模式，生成物体提议和边界框。
• 利用生成的物体定位特征用于下游任务，如细粒度分类。
• 利用 CNN 特征的层次结构，检测完整物体及其组成部分。

实验结果

研究问题

• RQ1 在无标注条件下，对 CNN 特征图进行频繁模式挖掘是否能有效定位单张图像中的主导物体？
• RQ2 所提出方法与最先进弱监督及无监督显著性检测方法相比表现如何？
• RQ3 所发现的物体区域在多大程度上能提升细粒度分类的准确率？
• RQ4 该方法能否以完全无监督方式同时定位完整物体及其部件？
• RQ5 空间与外观一致性在所发现模式中对定位准确率的贡献有多大？

主要发现

• OLM 在十一个基准数据集上实现了具有竞争力的定位性能，在无监督设置下超越了最先进方法。
• 在四个基准数据集上，OLM 超过了无监督显著性检测方法，展现出更优的物体定位准确率。
• 该方法成功定位了完整物体及其部件，显著提升了细粒度分类结果。
• 通过模式挖掘发现的共现模式表现出强烈的空间与外观一致性，形成可靠的物体候选区域。
• 利用预训练 CNN 特征结合模式挖掘，可在无需任何人工标注监督的情况下实现有效的无监督物体发现。
• 该方法在多种物体类别和图像领域间具有良好的泛化能力，经多个基准验证。