[论文解读] Deep Clustering for Unsupervised Learning of Visual Features
DeepCluster 在使用 k-means 对卷积网络特征进行聚类和更新网络以预测聚类分配之间交替进行，使端到端的无监督特征学习成为可能，在 ImageNet、YFCC100M 和 Pascal VOC 上实现了最先进的迁移性能。
Clustering is a class of unsupervised learning methods that has been extensively applied and studied in computer vision. Little work has been done to adapt it to the end-to-end training of visual features on large scale datasets. In this work, we present DeepCluster, a clustering method that jointly learns the parameters of a neural network and the cluster assignments of the resulting features. DeepCluster iteratively groups the features with a standard clustering algorithm, k-means, and uses the subsequent assignments as supervision to update the weights of the network. We apply DeepCluster to the unsupervised training of convolutional neural networks on large datasets like ImageNet and YFCC100M. The resulting model outperforms the current state of the art by a significant margin on all the standard benchmarks.
研究动机与目标
- 在大规模数据集上激励无监督学习普遍的视觉特征，而无需人工标签。
- 提出一种可扩展的方法，使卷积网络参数与聚类分配联合学习。
- 证明基于聚类的伪标签可以监督端到端的特征学习。
- 展示该方法对架构选择和数据分布的鲁棒性。
- 在标准基准和实例级检索上评估迁移性能。
提出的方法
- 将 f_theta 表示为卷积网络特征提取器，并使用 k-means 为特征分配聚类标签。
- 迭代地聚类特征以获得伪标签，并通过用判别损失预测这些伪标签来更新网络参数。
- 在聚类前对特征进行 PCA 降维与归一化，并使用带反向传播的标准 SGD 进行优化。
- 加入简单技巧以避免退化解，如处理空聚类和对来自小聚类的样本重新加权。
- 在 ImageNet 和 YFCC100M 上使用 AlexNet 和 VGG-16 架构进行实验；在需要时应用 Sobel 过滤以去除颜色。
- 在下游任务上评估学习到的特征，包括 ImageNet/Places 分类、Pascal VOC（分类、检测、分割）和实例检索。
实验结果
研究问题
- RQ1是否可以在没有人工标签的情况下，通过基于聚类的伪标签有效驱动端到端卷积网络训练？
- RQ2深层特征的迭代聚类如何影响所学表示的质量和迁移性？
- RQ3哪些架构选择（如 AlexNet 与 VGG-16）和数据分布（ImageNet 与 YFCC100M）会影响无监督特征学习的性能？
- RQ4该方法对退化解的鲁棒性如何，以及有哪些策略可以防止崩溃（如空聚类、不平衡的伪标签）？
主要发现
- DeepCluster 在大型数据集预训练后，在标准迁移任务中达到无监督特征学习方法的最先进性能。
- 在 DeepCluster 中使用更深的架构（例如 VGG-16）在迁移任务上相较于 AlexNet 取得显著提升。
- 未经过筛选的数据分布（YFCC100M）仍然产生强大的迁移性能，表明对数据偏差具有鲁棒性。
- 在冻结层上进行线性探针表明，使用 DeepCluster 训练的更高层特征在多项任务上与有监督的对照方法具有竞争力。
- DeepCluster 在 Pascal VOC 上带来显著增益，特别是在语义分割方面，并且在实例检索方面仍然有效，强调了实例级信息在学习特征中的价值。
更好的研究，从现在开始
从论文设计到论文写作，大幅缩短您的研究时间。
无需绑定信用卡
本解读由 AI 生成，并经人工编辑审核。