[论文解读] Automatically Discovering and Learning New Visual Categories with Ranking Statistics

Kai Han, Sylvestre-Alvise Rebuffi+3 more|arXiv (Cornell University)|Feb 13, 2020

Domain Adaptation and Few-Shot Learning参考文献 44被引用 55

一句话总结

该论文提出一种自监督、基于秩统计的方法，利用有标签数据进行迁移，自动从未标注数据中发现并学习新的视觉类别，通过联合训练和一致性正则化来避免遗忘。

ABSTRACT

We tackle the problem of discovering novel classes in an image collection given labelled examples of other classes. This setting is similar to semi-supervised learning, but significantly harder because there are no labelled examples for the new classes. The challenge, then, is to leverage the information contained in the labelled images in order to learn a general-purpose clustering model and use the latter to identify the new classes in the unlabelled data. In this work we address this problem by combining three ideas: (1) we suggest that the common approach of bootstrapping an image representation using the labeled data only introduces an unwanted bias, and that this can be avoided by using self-supervised learning to train the representation from scratch on the union of labelled and unlabelled data; (2) we use rank statistics to transfer the model's knowledge of the labelled classes to the problem of clustering the unlabelled images; and, (3) we train the data representation by optimizing a joint objective function on the labelled and unlabelled subsets of the data, improving both the supervised classification of the labelled data, and the clustering of the unlabelled data. We evaluate our approach on standard classification benchmarks and outperform current methods for novel category discovery by a significant margin.

研究动机与目标

• 激发在没有新类别标注样本的情况下自动发现新的视觉类别。
• 提出一种表示学习流水线，通过对有标签和无标签数据进行自监督来避免标签偏差。
• 引入秩统计，将从有标签数据获得的知识迁移到无标签数据，以对新类别进行聚类。
• 在有标签和无标签数据上联合训练，以防止灾难性遗忘并提升监督和聚类性能。
• 探索增量学习，在分类任务中扩展已发现的类别。

提出的方法

• 在有标签和无标签数据的并集上通过自监督学习（RotNet）预训练 CNN 表示 Phi，以避免来自有标签数据的偏差。
• 在有标签数据上微调最后几层以学习 C^l 的分类器，同时保持表示的鲁棒性。
• 使用秩统计通过 top-k 激活索引比较未标注图像表示，以生成带噪声的成对伪标签 s_ij。
• 训练一个新的头 eta^u 来对未标注对进行相似性评分，使用 BCE 损失，产生伪标签驱动的聚类。
• 联合优化 L_CE（有标签数据上的）和 L_BCE（无标签数据上的），并加入一致性正则化项 L_MSE 以稳定学习。
• 可选地通过扩展分类头以包含 C^u 个新类别，并对未标注数据使用伪标签来执行增量学习。

实验结果

研究问题

• RQ1 自监督在有标签与无标签数据的组合上，是否可以产生比仅从有标签数据自举更通用的表示？
• RQ2 基于秩的未标注图像嵌入比较是否能有效生成伪标签以对新视觉类别进行聚类？
• RQ3 在有标签和无标签数据上联合训练是否能防止遗忘并提升识别与聚类性能？
• RQ4 增量学习在将新发现的类别与现有类别整合时，是否能够在不偏向旧类别的前提下提高性能？
• RQ5 与标准基准上的最先进新类别发现方法相比，该方法的表现如何？

主要发现

• 在有标签与无标签数据的联合自监督预训练可减少对已知类别的偏向，并产生鲁棒的底层特征。
• 使用 top-k 激活集合的秩统计提供了一种鲁棒的伪标签生成机制，使未标注数据的聚类对新类别更有效。
• 在有标签数据的监督损失和无标签数据的聚类损失上联合优化，并结合一致性正则化，可提升性能并减缓目标漂移。
• 该方法在 CIFAR-10、CIFAR-100、SVHN、OmniGlot 和 ImageNet 基准测试上实现了最先进的新类别发现结果。
• 增量学习通过使旧类与新类共同的分类器成为可能，进一步提升了准确性，对旧类别和新类别都表现出强劲性能。