[论文解读] Learning To Classify Images Without Labels.

Wouter Van Gansbeke, Simon Vandenhende+3 more|arXiv (Cornell University)|May 25, 2020

Domain Adaptation and Few-Shot Learning被引用 12

一句话总结

该论文提出了一种两步法无监督图像分类方法，将自监督表征学习与可学习聚类解耦，无需任何标签即可实现最先进性能。在CIFAR10上准确率提升+26.6%，在CIFAR100-20上提升+25.0%，在STL10上提升+21.3%，并且是首个在零样本设置下于ImageNet上取得优异结果的方法。

ABSTRACT

Can we automatically group images into semantically meaningful clusters when ground-truth annotations are absent? The task of unsupervised image classification remains an important, and open challenge in computer vision. Several recent approaches have tried to tackle this problem in an end-to-end fashion. In this paper, we deviate from recent works, and advocate a two-step approach where feature learning and clustering are decoupled. First, a self-supervised task from representation learning is employed to obtain semantically meaningful features. Second, we use the obtained features as a prior in a learnable clustering approach. In doing so, we remove the ability for cluster learning to depend on low-level features, which is present in current end-to-end learning approaches. Experimental evaluation shows that we outperform state-of-the-art methods by large margins, in particular +26.6% on CIFAR10, +25.0% on CIFAR100-20 and +21.3% on STL10 in terms of classification accuracy. Furthermore, our method is the first to perform well on a large-scale dataset for image classification. In particular, we obtain promising results on ImageNet, and outperform several semi-supervised learning methods in the low-data regime without the use of any ground-truth annotations. The code is made publicly available at this https URL.

研究动机与目标

• 为解决无真实标注情况下无监督图像分类的开放性挑战。
• 通过将特征学习与聚类优化解耦，提升聚类性能，避免依赖低级特征。
• 在CIFAR10、CIFAR100-20和STL10等标准基准上实现最先进准确率，且无需任何标注数据。
• 将强大性能扩展至大规模数据集（如ImageNet）的零样本设置。
• 证明自监督特征可作为无监督学习中聚类的强先验。

提出的方法

• 首先，使用自监督表征学习从图像中提取语义上有意义的特征，无需标签。
• 其次，将这些学习到的特征输入可学习聚类模块，以优化聚类分配。
• 聚类步骤是可微的且端到端可训练，但完全依赖于预训练特征提供的先验信息。
• 该方法通过将特征学习与聚类解耦，明确消除了聚类对低级图像统计量的依赖。
• 采用CIFAR10、CIFAR100-20、STL10和ImageNet等标准基准对方法进行评估。
• 代码已公开发布，以支持可复现性与进一步研究。

实验结果

研究问题

• RQ1 通过将表征学习与聚类解耦，能否显著提升无监督图像分类性能？
• RQ2 将自监督特征作为先验是否能提升标准基准上的聚类性能？
• RQ3 两步法是否能在零样本图像分类中超越端到端无监督学习方法？
• RQ4 所提方法是否可在无任何标注的情况下扩展至大规模数据集（如ImageNet）？
• RQ5 在低数据场景下，该方法与半监督学习基线方法相比表现如何？

主要发现

• 该方法在CIFAR10上相比最先进方法实现了+26.6%的准确率提升，且无需任何标签。
• 在CIFAR100-20上，该方法相比现有无监督方法准确率提升+25.0%。
• 在STL10上，该方法准确率提升+21.3%，表明其在不同数据集间具有强大的泛化能力。
• 该方法在零样本设置下于ImageNet上创下新的最先进水平，优于多个低数据场景下的半监督学习方法。
• 结果表明，将特征学习与聚类解耦可生成更鲁棒且语义更清晰的聚类。
• 该方法是首个仅使用自监督特征且无真实标注即在ImageNet上实现优异性能的方法。