[论文解读] Unsupervised High-level Feature Learning by Ensemble Projection for Semi-supervised Image Classification and Image Clustering

Dengxin Dai, Luc J. Van Gool|arXiv (Cornell University)|Feb 2, 2016

Advanced Image and Video Retrieval Techniques参考文献 64被引用 24

一句话总结

本文提出了一种名为集成投影（Ensemble Projection, EP）的新方法，这是一种用于半监督图像分类和图像聚类的新型无监督高层特征学习方法。EP通过将图像投影到由所有可用数据（包括有标签和无标签数据）衍生出的多样化视觉原型集合上，学习具有判别性的图像表征。该方法利用基于分类器的亲和度来捕捉单个图像特征以及图像之间的相互关系。在八个标准数据集上，该方法显著优于基线特征，实现了半监督分类的最先进性能，并在图像聚类纯度方面取得了显著提升。

ABSTRACT

This paper investigates the problem of image classification with limited or no annotations, but abundant unlabeled data. The setting exists in many tasks such as semi-supervised image classification, image clustering, and image retrieval. Unlike previous methods, which develop or learn sophisticated regularizers for classifiers, our method learns a new image representation by exploiting the distribution patterns of all available data for the task at hand. Particularly, a rich set of visual prototypes are sampled from all available data, and are taken as surrogate classes to train discriminative classifiers; images are projected via the classifiers; the projected values, similarities to the prototypes, are stacked to build the new feature vector. The training set is noisy. Hence, in the spirit of ensemble learning we create a set of such training sets which are all diverse, leading to diverse classifiers. The method is dubbed Ensemble Projection (EP). EP captures not only the characteristics of individual images, but also the relationships among images. It is conceptually simple and computationally efficient, yet effective and flexible. Experiments on eight standard datasets show that: (1) EP outperforms previous methods for semi-supervised image classification; (2) EP produces promising results for self-taught image classification, where unlabeled samples are a random collection of images rather than being from the same distribution as the labeled ones; and (3) EP improves over the original features for image clustering. The code of the method is available on the project page.

研究动机与目标

• 通过利用丰富的无标签数据，解决图像分类和聚类中标签数据有限或缺失的挑战。
• 开发一种特征学习方法，能够在不依赖复杂正则化项的前提下，同时捕捉单个图像特征和图像间关系。
• 构建一种简单、高效且灵活的框架，以在半监督分类和无监督聚类任务中超越标准特征的表现。
• 在不同监督设置下，验证该方法在多样化图像数据集上的有效性。

提出的方法

• EP从所有可用图像（包括有标签和无标签图像）中采样T个多样化的视觉原型集合，将其视为代理类别。
• 针对每个原型集合，训练一个判别性分类器，以根据图像与原型的相似度对图像进行投影。
• 通过这些分类器对图像进行投影，并将得到的相似度分数（亲和度）堆叠成一个新的、更丰富的特征向量。
• 通过数据增强和采样策略确保训练集的多样性，从而提升模型的鲁棒性和泛化能力。
• 该方法对最终的分类器或聚类算法无依赖性，可与标准工具（如SVM、k-means或谱聚类）无缝集成。
• 最终的特征表示以判别性、分布感知的方式学习，充分利用数据的内在结构。

实验结果

研究问题

• RQ1 仅使用无标签数据，一种简单且无监督的特征学习方法是否能在半监督图像分类中超越标准特征？
• RQ2 当无标签数据与有标签数据分布不一致时（即自教学习场景），该方法的有效性如何？
• RQ3 与原始特征相比，所学习的特征在多大程度上能提升图像聚类性能？
• RQ4 通过基于原型的投影捕捉图像间关系，是否能带来比标准特征提取更优的表征学习效果？

主要发现

• 在八个标准数据集上，EP在半监督图像分类任务中实现了最先进性能，优于以往方法。
• 在Caltech-101数据集上，EP将分类准确率从基线CNN的70.7%提升至10张有标签图像/类时的71.5%。
• 在自教学习场景下（无标签数据来自不同分布），EP仍表现出强大性能，证明了其鲁棒性。
• 在图像聚类任务中，EP在k-means上使Event-8的纯度提升9.6%、STL-10提升6.5%；在谱聚类下，Scene-15提升4.0%、Indoor-67提升5.7%。
• 在所有聚类评估中，该方法显著优于原始CNN特征，证实其能够捕捉有意义的图像间关系。
• 该方法计算效率高且灵活，可与任何下游分类器或聚类算法兼容。