[论文解读] Deep Robust Clustering by Contrastive Learning

Huasong Zhong, Chong Chen+2 more|arXiv (Cornell University)|Aug 7, 2020

Domain Adaptation and Few-Shot Learning参考文献 39被引用 43

一句话总结

DRC 引入了一种一阶段的深度聚类方法，通过对比学习同时优化分配概率和分配特征，相较于状态-of-the-art 方法在聚类稳定性和准确性方面有所提升。它通过互信息通过两个对比损失和一个聚类正则化项来实现框架。

ABSTRACT

Recently, many unsupervised deep learning methods have been proposed to learn clustering with unlabelled data. By introducing data augmentation, most of the latest methods look into deep clustering from the perspective that the original image and its transformation should share similar semantic clustering assignment. However, the representation features could be quite different even they are assigned to the same cluster since softmax function is only sensitive to the maximum value. This may result in high intra-class diversities in the representation feature space, which will lead to unstable local optimal and thus harm the clustering performance. To address this drawback, we proposed Deep Robust Clustering (DRC). Different from existing methods, DRC looks into deep clustering from two perspectives of both semantic clustering assignment and representation feature, which can increase inter-class diversities and decrease intra-class diversities simultaneously. Furthermore, we summarized a general framework that can turn any maximizing mutual information into minimizing contrastive loss by investigating the internal relationship between mutual information and contrastive learning. And we successfully applied it in DRC to learn invariant features and robust clusters. Extensive experiments on six widely-adopted deep clustering benchmarks demonstrate the superiority of DRC in both stability and accuracy. e.g., attaining 71.6% mean accuracy on CIFAR-10, which is 7.1% higher than state-of-the-art results.

研究动机与目标

• 动机与解决在使用分配概率时由类内差异导致的深度聚类不稳定性。
• 提出一个框架，通过对比学习同时学习不变的簇分配和不变的特征。
• 展示最大化互信息可以转化为可处理的对比损失以实现可训练性。
• 在多项标准聚类基准上展示鲁棒性和准确性的提升。

提出的方法

• 通过 CNN 与 softmax 定义分配特征 z 与分配概率 p。
• 在两个视图中最大化原始样本与增强样本之间的互信息：分配概率（全局视图）和分配特征（局部视图）。
• 将互信息目标转化为两个对比损失：L_AF（分配特征）和 L_AP（分配概率）。
• 添加聚类正则化损失 L_CR 以防止简并解并稳定训练。
• 端到端使用 Adam 进行训练，骨干网络为基于 ResNet，批大小 256，以及增强对；超参数包括 AF 的 T=0.5 与 AP 的 T=0.95，λ=0.005。

实验结果

研究问题

• RQ1 一个深度聚类模型是否可以通过同时考虑分配概率和分配特征来改善类间分离与类内紧凑性？
• RQ2 是否可以将最大化互信息重新解释为一组可操作的对比损失以实现稳定训练？
• RQ3 相较于先前方法，DRC 在标准无监督聚类基准上的表现如何？
• RQ4 对两个对比损失和聚类正则项的消融实验对结果有何影响？

主要发现

• DRC 在六个基准上达到最先进或接近最先进的聚类性能，在基线和先前方法之上显著提高了平均准确率（mean accuracy）。
• DRC 显示聚类结果在不同初始化之间的方差降低，表明稳定性提升。
• 两种对比损失（AP 与 AF）均对性能有贡献，其中 AP 通常对聚类准确性有更直接的影响。
• 聚类正则化（L_CR）改进结果并缓解简并解，尤其在更难的数据集上。
• 更大的批量大小能提升对比学习的性能和最终聚类指标。
• 与之前的方法相比，在 DRC 下类内方差下降、类间方差增大。