[论文解读] Deep Clustering by Semantic Contrastive Learning

Jiabo Huang, Shaogang Gong|arXiv (Cornell University)|Mar 3, 2021

Domain Adaptation and Few-Shot Learning参考文献 44被引用 10

一句话总结

本文提出语义对比学习（SCL），一种新型深度聚类方法，通过显式强制执行与聚类相关的对比学习，解决实例级别判别与聚类级别分组之间的矛盾。通过引入语义记忆模块以及实例相似性与聚类边界之间的一致性条件，SCL在细粒度和大规模数据集上均取得最先进性能，相比之前方法最高提升达17%。

ABSTRACT

Whilst contrastive learning has recently brought notable benefits to deep clustering of unlabelled images by learning sample-specific discriminative visual features, its potential for explicitly inferring class decision boundaries is less well understood. This is because its instance discrimination strategy is not class sensitive, therefore, the clusters derived on the resulting sample-specific feature space are not optimised for corresponding to meaningful class decision boundaries. In this work, we solve this problem by introducing Semantic Contrastive Learning (SCL). SCL imposes explicitly distance-based cluster structures on unlabelled training data by formulating a semantic (cluster-aware) contrastive learning objective. Moreover, we introduce a clustering consistency condition to be satisfied jointly by both instance visual similarities and cluster decision boundaries, and concurrently optimising both to reason about the hypotheses of semantic ground-truth classes (unknown/unlabelled) on-the-fly by their consensus. This semantic contrastive learning approach to discovering unknown class decision boundaries has considerable advantages to unsupervised learning of object recognition tasks. Extensive experiments show that SCL outperforms state-of-the-art contrastive learning and deep clustering methods on six object recognition benchmarks, especially on the more challenging finer-grained and larger datasets.

研究动机与目标

• 为解决实例对比学习与聚类目标之间的固有矛盾，即实例级别拉远与聚类级别紧凑性之间的冲突。
• 显式地在无标签数据上施加聚类结构，以指导学习具有聚类感知能力的判别性视觉特征。
• 通过学习与中间聚类分配无关的鲁棒表示，缓解深度聚类中的误差传播问题。
• 通过将特征相似性与聚类决策边界对齐，提升所学聚类的语义合理性。

提出的方法

• 提出一种新颖的语义对比学习（SCL）目标，强制实现实例级别特征相似性与聚类级别决策边界之间的一致性。
• 采用语义记忆模块存储实例特征与聚类分配，实现实例与聚类判别任务的联合优化。
• 使用跨聚类实例判别，其中每个样本仅被拉远自其他聚类中的伪负样本，而非所有其他样本。
• 通过基于分配稳定性的重加权损失实现难样本挖掘，以突出难以分类的模糊样本。
• 实施聚类一致性条件，使视觉相似性与语义聚类边界对齐，以改善决策边界学习。
• 采用多任务训练方案，结合欠聚类、过聚类和恰当聚类分配，以在多种粒度上学习特征。

实验结果

研究问题

• RQ1 对比学习能否被调整以显式学习无监督深度聚类中的有意义的类别决策边界？
• RQ2 在自监督表示学习中，如何解决实例级别判别与聚类级别分组之间的固有矛盾？
• RQ3 强制实例相似性与聚类边界之间的一致性是否能提升聚类质量与语义合理性？
• RQ4 基于分配稳定性的难样本挖掘是否能增强深度聚类中的模型泛化能力？
• RQ5 多粒度聚类监督如何提升对视觉模糊性的鲁棒性？

主要发现

• SCL在六个物体识别基准上超越当前最先进对比学习与深度聚类方法，尤其在具有挑战性的数据集上表现显著提升。
• 该方法在更大规模与更细粒度的数据集上实现最高达17%的相对性能提升，展现出强大的可扩展性与鲁棒性。
• 消融实验表明，跨聚类实例判别与在线聚类判别均不可或缺，联合学习可获得最佳性能。
• 特征可视化显示，与基线方法相比，SCL生成的聚类更加紧凑且可分，尤其在多粒度聚类训练下表现更优。
• SCL的高置信度预测与真实类别高度一致，表明语义合理性与模型置信度密切相关。
• 失败案例主要源于背景主导问题，表明在无监督视觉学习中注意力聚焦仍是挑战。