[论文解读] CNN-Based Joint Clustering and Representation Learning with Feature Drift Compensation for Large-Scale Image Data

Chih–Chung Hsu, Chia‐Wen Lin|arXiv (Cornell University)|May 19, 2017

Advanced Image and Video Retrieval Techniques参考文献 3被引用 9

一句话总结

本文提出一种基于CNN的方法，用于大规模图像数据集中的联合聚类与表征学习，通过随机梯度下降迭代优化特征和聚类中心。该方法引入特征漂移补偿机制以减少表征误差，在包含百万张图像的数据集上实现了最先进（SOTA）的准确率和更低的存储复杂度。

ABSTRACT

Given a large unlabeled set of images, how to efficiently and effectively group them into clusters based on extracted visual representations remains a challenging problem. To address this problem, we propose a convolutional neural network (CNN) to jointly solve clustering and representation learning in an iterative manner. In the proposed method, given an input image set, we first randomly pick k samples and extract their features as initial cluster centroids using the proposed CNN with an initial model pre-trained from the ImageNet dataset. Mini-batch k-means is then performed to assign cluster labels to individual input samples for a mini-batch of images randomly sampled from the input image set until all images are processed. Subsequently, the proposed CNN simultaneously updates the parameters of the proposed CNN and the centroids of image clusters iteratively based on stochastic gradient descent. We also proposed a feature drift compensation scheme to mitigate the drift error caused by feature mismatch in representation learning. Experimental results demonstrate the proposed method outperforms start-of-the-art clustering schemes in terms of accuracy and storage complexity on large-scale image sets containing millions of images.

研究动机与目标

• 为利用深度特征高效聚类大规模未标注图像数据集提供解决方案。
• 以端到端、迭代的方式联合优化表征学习与聚类。
• 缓解表征学习过程中因分布偏移导致的特征漂移问题。
• 在保持大规模图像集合高聚类准确率的同时，降低存储复杂度。
• 在大规模基准数据集上，性能优于现有聚类方法。

提出的方法

• 通过使用预训练的ImageNet CNN从k个随机选择的图像中提取特征，初始化聚类中心。
• 应用小批量k-means对图像批次进行聚类标签分配，实现大规模数据集的可扩展处理。
• 通过随机梯度下降在迭代优化循环中联合更新CNN和聚类中心。
• 引入特征漂移补偿方案，以纠正迭代过程中特征表示的分布偏移。
• 通过交替执行特征提取、聚类分配和参数/中心更新，同时优化表征和聚类结构。
• 利用ImageNet的迁移学习初始化CNN，提升收敛速度与性能。

实验结果

研究问题

• RQ1 通过CNN实现的联合表征学习与聚类，是否能在大规模图像数据上实现优于独立学习方法的准确率？
• RQ2 在迭代训练过程中，特征漂移如何影响聚类性能？是否可有效缓解？
• RQ3 所提方法在扩展至数百万张图像时，是否能保持低存储复杂度？
• RQ4 与顺序或独立学习策略相比，特征与中心的联合优化有何优势？
• RQ5 特征漂移补偿机制在多大程度上提升了聚类的稳定性和准确率？

主要发现

• 所提方法在包含数百万张图像的大规模图像数据集上实现了最先进（SOTA）的聚类准确率。
• 与现有聚类方案相比，该方法显著降低了存储复杂度，使其在大规模应用中更具可扩展性。
• 特征漂移补偿机制通过减少迭代过程中的表征误差，显著提升了聚类性能。
• CNN参数与聚类中心的联合优化，相比独立训练，能生成更优的特征表示。
• 该方法在多个基准数据集上表现出稳健性能，在准确率与效率方面均优于先前的SOTA方法。
• 实验结果证实，迭代优化过程在几乎不增加额外计算成本的前提下，显著提升了聚类质量。