[论文解读] Doubly Contrastive Deep Clustering

Zhiyuan Dang, Cheng Deng+2 more|arXiv (Cornell University)|Mar 9, 2021

Face and Expression Recognition参考文献 51被引用 11

一句话总结

本文提出了一种新型深度聚类框架——双重对比学习聚类（DCDC），通过数据增强在样本和类别两个层面同时应用对比学习。通过联合优化样本级和类别级对比损失，DCDC实现了最先进性能，在挑战性数据集Tiny-ImageNet上相比先前方法准确率提升了5.6%。

ABSTRACT

Deep clustering successfully provides more effective features than conventional ones and thus becomes an important technique in current unsupervised learning. However, most deep clustering methods ignore the vital positive and negative pairs introduced by data augmentation and further the significance of contrastive learning, which leads to suboptimal performance. In this paper, we present a novel Doubly Contrastive Deep Clustering (DCDC) framework, which constructs contrastive loss over both sample and class views to obtain more discriminative features and competitive results. Specifically, for the sample view, we set the class distribution of the original sample and its augmented version as positive sample pairs and set one of the other augmented samples as negative sample pairs. After that, we can adopt the sample-wise contrastive loss to pull positive sample pairs together and push negative sample pairs apart. Similarly, for the class view, we build the positive and negative pairs from the sample distribution of the class. In this way, two contrastive losses successfully constrain the clustering results of mini-batch samples in both sample and class level. Extensive experimental results on six benchmark datasets demonstrate the superiority of our proposed model against state-of-the-art methods. Particularly in the challenging dataset Tiny-ImageNet, our method leads 5.6\% against the latest comparison method. Our code will be available at \url{https://github.com/ZhiyuanDang/DCDC}.

研究动机与目标

• 为解决现有深度聚类方法忽略数据增强引入的正负样本对所导致的次优性能问题。
• 通过同时利用样本和类别视角的对比学习来提升聚类性能。
• 设计一个统一框架，联合优化样本级和类别级对比损失，以获得更具判别性的表征。
• 探究有效的训练策略，如样本重复和批量大小选择，以优化基于对比学习的深度聚类。

提出的方法

• 该方法通过数据增强构建正负样本对：原始样本与增强样本构成正样本对，而其他样本的不同增强版本则构成负样本对。
• 应用样本级对比损失，使特征空间中的正样本对更接近，负样本对更远离。
• 通过将原始样本和增强样本的类别分布视为正样本对，其他类别分布视为负样本对，引入类别级对比损失。
• 在端到端训练过程中联合优化两种对比损失，以优化特征表征和聚类分配。
• 模型采用主干网络搭配分类头，对比损失作用于聚类分配前的输出特征上。
• 该方法对过聚类、样本重复和批量大小进行了消融实验，以识别有效的训练实践。

实验结果

研究问题

• RQ1 在样本和类别两个层面同时优化对比学习是否能提升深度聚类性能？
• RQ2 当显式建模由数据增强生成的正负样本对时，它们对聚类质量有何影响？
• RQ3 样本重复和批量大小对基于对比学习的深度聚类有何影响？
• RQ4 所提出的双视角对比损失是否能导致更接近块对角结构的样本级亲和矩阵和更接近对角的类别级亲和矩阵？

主要发现

• DCDC在六个基准数据集上均达到最先进性能，包括在Tiny-ImageNet上相比最新方法准确率提升5.6%。
• 在CIFAR-100上，DCDC达到34.9%的准确率，比基线方法高出5.1个百分点。
• t-SNE可视化显示，DCDC生成的聚类比PICA更紧凑且更易分离，表明其特征判别性更强。
• DCDC的样本级亲和矩阵展现出比PICA更清晰的块对角结构，证实了样本级对比学习的有效性。
• DCDC的类别级亲和矩阵更接近对角，表明类别级对比损失提升了类别级别的聚类一致性。
• 样本重复略微提升了性能，CIFAR-100上的准确率从32.8%提升至34.9%，表明特征挖掘能力得到增强。