[论文解读] CNN features are also great at unsupervised classification

Joris Guérin, Olivier Gibaru+2 more|arXiv (Cornell University)|Jul 6, 2017

Advanced Neural Network Applications参考文献 32被引用 69

一句话总结

本文展示了，通过将ImageNet预训练的CNN提取的特征与简单的聚类算法结合，可在无监督图像集聚类任务中实现最先进性能，适用于物体分类与细粒度分类。该方法优于复杂的、人工设计的聚类方法，凸显了监督式CNN特征向无监督任务的强迁移能力。

ABSTRACT

This paper aims at providing insight on the transferability of deep CNN features to unsupervised problems. We study the impact of different pretrained CNN feature extractors on the problem of image set clustering for object classification as well as fine-grained classification. We propose a rather straightforward pipeline combining deep-feature extraction using a CNN pretrained on ImageNet and a classic clustering algorithm to classify sets of images. This approach is compared to state-of-the-art algorithms in image-clustering and provides better results. These results strengthen the belief that supervised training of deep CNN on large datasets, with a large variability of classes, extracts better features than most carefully designed engineering approaches, even for unsupervised tasks. We also validate our approach on a robotic application, consisting in sorting and storing objects smartly based on clustering.

研究动机与目标

• 本文研究了在大规模多样化数据集上预训练的深度CNN特征是否可有效迁移至无监督图像聚类任务。
• 旨在评估一种简单流程（CNN特征提取后接标准聚类）相较于最先进无监督图像集聚类算法的性能表现。
• 在不同光照和背景条件下，于真实世界机器人物体分拣与存储应用中验证该方法。
• 提出一个新的、具有挑战性的图像集聚类基准数据集，用于评估对背景、光照和物体变化的鲁棒性。
• 研究未来无监督图像聚类的进展应聚焦于更优表征还是更大、更多样化的训练数据集。

提出的方法

• 该方法使用Keras中的预训练CNN（ResNet50、InceptionV3、VGG16、VGG19、Xception）在ImageNet上微调后，从图像集中提取深层特征。
• 从CNN的最后一个全连接层提取特征，以捕获高层语义表征。
• 直接将标准聚类算法（如K-means、谱聚类等）应用于提取的特征，无需进一步调优或适应。
• 该流程在多个公开数据集及新构建的、具有可变光照、背景和物体朝向的图像聚类挑战性数据集上进行评估。
• 性能通过标准指标进行衡量：纯度（purity）、NMI（标准化互信息）和聚类准确率。
• 该方法被应用于机器人分拣系统，仅通过无监督图像聚类实现基于语义内容的物体分类与存储。

实验结果

研究问题

• RQ1 当与简单聚类算法结合时，来自预训练ImageNet CNN的特征是否能超越最先进无监督图像集聚类算法？
• RQ2 在真实世界机器人应用中，CNN + 聚类流程对光照、背景和物体朝向变化的鲁棒性如何？
• RQ3 在ImageNet中未强调物体分组的场景聚类任务中，该流程的性能是否会下降？
• RQ4 类内相似性与类间相似性在多大程度上影响所提方法的聚类性能？
• RQ5 所提流程能否作为未来无监督图像聚类研究的强而简洁基线？

主要发现

• 在多个基准测试中，仅通过从预训练ImageNet CNN提取特征并应用标准聚类的简单流程，其性能优于更复杂的最先进无监督图像集聚类算法。
• 在新引入的鲁棒性验证数据集上，该方法在挑战性光照和背景条件下（条件4）实现了平均NMI得分为0.71，纯度为0.69，表现出强鲁棒性。
• 在物体类别内的细粒度分类中，该方法对笔类实现了1.0的纯度，对卡钳类实现了0.83的纯度，表明在类内相似性高的物体上表现优异。
• 在标准条件下，该方法在机器人分拣应用中实现了100%的成功率，即使面对类内相似性较低的物体（如卡钳和螺丝刀）也表现良好。
• 结果表明，CNN特征向无监督任务的迁移能力极强，未来研究可能更受益于更大、更多样化的数据集，而非复杂的表征学习架构。
• 研究指出，性能下降的主要原因并非来自CNN特征本身，而是某些物体类别（如笔和USB设备）中类内相似性较低、类间相似性较高。