[论文解读] ClusterFit: Improving Generalization of Visual Representations

Xueting Yan, Ishan Misra+3 more|arXiv (Cornell University)|Dec 6, 2019

Domain Adaptation and Few-Shot Learning参考文献 65被引用 6

一句话总结

ClusterFit 是一种简单、事后处理的方法，通过聚类预训练模型的特征并将新网络微调至这些聚类分配作为伪标签，从而提升弱监督和自监督视觉表征的泛化能力。该方法在11个多样化的图像和视频基准测试中显著提升性能，相较于最先进模型，准确率相对提升最高达9%，且无需额外数据或监督。

ABSTRACT

Pre-training convolutional neural networks with weakly-supervised and self-supervised strategies is becoming increasingly popular for several computer vision tasks. However, due to the lack of strong discriminative signals, these learned representations may overfit to the pre-training objective (e.g., hashtag prediction) and not generalize well to downstream tasks. In this work, we present a simple strategy - ClusterFit (CF) to improve the robustness of the visual representations learned during pre-training. Given a dataset, we (a) cluster its features extracted from a pre-trained network using k-means and (b) re-train a new network from scratch on this dataset using cluster assignments as pseudo-labels. We empirically show that clustering helps reduce the pre-training task-specific information from the extracted features thereby minimizing overfitting to the same. Our approach is extensible to different pre-training frameworks -- weak- and self-supervised, modalities -- images and videos, and pre-training tasks -- object and action classification. Through extensive transfer learning experiments on 11 different target datasets of varied vocabularies and granularities, we show that ClusterFit significantly improves the representation quality compared to the state-of-the-art large-scale (millions / billions) weakly-supervised image and video models and self-supervised image models.

研究动机与目标

• 解决弱监督和自监督预训练中的过拟合问题，即模型学习代理目标中的伪影而非通用视觉不变性。
• 通过无监督聚类平滑特征空间，提升视觉表征的可迁移性。
• 开发一种可扩展、与架构无关的方法，适用于图像、视频以及各种预训练框架（弱监督和自监督）。
• 证明事后聚类与微调可超越复杂的预训练目标，即使在大规模模型上亦如此。
• 表明一个简单、无监督的聚类步骤可替代预训练中昂贵的手动标签工程。

提出的方法

• 使用预训练模型在新数据集上提取预训练网络的特征。
• 对提取的特征应用k-means聚类，将相似样本分组到聚类中。
• 将得到的聚类分配作为伪标签，从零开始训练新网络。
• 使用标准交叉熵损失在聚类伪标签上训练新网络，以学习更平滑、更具泛化能力的特征空间。
• 聚类步骤起到有损压缩的作用，可去除与代理目标相关的伪影，同时保留视觉一致性。
• 该方法与模型架构、模态（图像/视频）和预训练目标无关，具有广泛适用性。

实验结果

研究问题

• RQ1 能否通过事后聚类预训练模型的特征来提升视觉表征的泛化能力？
• RQ2 通过聚类去除与代理目标相关的伪影，是否能提升下游任务的迁移性能？
• RQ3 ClusterFit 在多样化的数据集和模态上，与最先进大规模弱监督和自监督模型相比表现如何？
• RQ4 标签空间的多样性与粒度对基于聚类的预训练有效性有何影响？
• RQ5 一个简单、无监督的聚类步骤能否替代预训练中复杂的手动设计标签空间？

主要发现

• 当应用于自监督模型时，ClusterFit 在 ImageNet-1K 上将 top-1 准确率提升最高达9%，在 ImageNet-1K 上提升7-9%。
• 在10亿张图像上使用1500个标签哈希进行弱监督预训练时，ClusterFit 在 ImageNet-9K 上提升准确率4.6%，在 iNaturalist 上提升5.8%。
• 在1900万张视频上进行视频预训练，使用438个标签哈希时，ClusterFit 在 Kinetics 上提升准确率3.2%，在 Sports1M 上提升4.3%。
• 当仅使用预训练中前100个最频繁动词时，ClusterFit 的性能与完整438个动词模型相差不到2%，且优于原始弱监督模型。
• 该方法在11个多样化的基准测试中持续提升性能，涵盖具有不同词汇量和粒度的图像和视频数据集。
• 性能提升无需额外数据、额外监督或架构修改，证明了通过聚类实现特征空间平滑的有效性。