[论文解读] C3: Cross-instance guided Contrastive Clustering

Mohammadreza Sadeghi, Hadi Hojjati+1 more|arXiv (Cornell University)|Nov 14, 2022

COVID-19 diagnosis using AI被引用 11

一句话总结

C3 提出了一种新颖的对比聚类方法，通过利用跨样本相似性来提升聚类性能，识别出更可靠的正样本对并减少假阴性。通过引入负样本的软加权机制和基于相似性的损失函数，C3 在 CIFAR-10 上实现最高达 6.6% 的聚类准确率提升，在 ImageNet-10 上实现 5.0% 的提升，优于先前方法。

ABSTRACT

Clustering is the task of gathering similar data samples into clusters without using any predefined labels. It has been widely studied in machine learning literature, and recent advancements in deep learning have revived interest in this field. Contrastive clustering (CC) models are a staple of deep clustering in which positive and negative pairs of each data instance are generated through data augmentation. CC models aim to learn a feature space where instance-level and cluster-level representations of positive pairs are grouped together. Despite improving the SOTA, these algorithms ignore the cross-instance patterns, which carry essential information for improving clustering performance. This increases the false-negative-pair rate of the model while decreasing its true-positive-pair rate. In this paper, we propose a novel contrastive clustering method, Cross-instance guided Contrastive Clustering (C3), that considers the cross-sample relationships to increase the number of positive pairs and mitigate the impact of false negative, noise, and anomaly sample on the learned representation of data. In particular, we define a new loss function that identifies similar instances using the instance-level representation and encourages them to aggregate together. Moreover, we propose a novel weighting method to select negative samples in a more efficient way. Extensive experimental evaluations show that our proposed method can outperform state-of-the-art algorithms on benchmark computer vision datasets: we improve the clustering accuracy by 6.6%, 3.3%, 5.0%, 1.3% and 0.3% on CIFAR-10, CIFAR-100, ImageNet-10, ImageNet-Dogs, and Tiny-ImageNet.

研究动机与目标

• 为解决对比聚类方法忽略跨样本关系的局限性，从而导致假阴性对比例过高和聚类性能不佳的问题。
• 通过实例级别的相似性建模，识别出更可靠的正样本对，以提升聚类性能。
• 设计一种加权采样策略，聚焦于聚类边界附近的难样本。
• 设计一种结合样本间相似性的损失函数，以学习更具聚类友好性的表示空间。
• 通过实证验证，考虑成对样本相似性可显著提升在多样化基准上的聚类准确率和鲁棒性。

提出的方法

• 提出一种新的对比损失函数，利用实例级别的表征识别相似样本，并在特征空间中促进其聚合。
• 提出一种软加权机制，为靠近聚类边界的负样本分配更高的权重，从而更关注困难样本。
• 采用基于阈值的相似性度量方法，通过超参数 ζ 动态基于特征空间接近度识别正样本对。
• 使用由超参数 Γ 控制的基于熵的加权方案，以平衡负样本采样中的多样性与集中度。
• 通过数据增强生成正样本对，同时利用跨样本相似性将正样本集合扩展至增强视图之外。
• 采用端到端的对比目标进行模型训练，联合优化表示学习与聚类性能。

实验结果

研究问题

• RQ1 如何在无监督对比聚类中有效利用跨样本关系，以减少假阴性对？
• RQ2 基于样本间相似性的动态正样本对识别对聚类准确率有何影响？
• RQ3 针对负样本的边界感知加权方案如何改善聚类中的表示学习？
• RQ4 与标准对比聚类相比，引入成对相似性在多大程度上提升了聚类性能？
• RQ5 在具有不同聚类数量的多种数据集上，哪些超参数设置（ζ 和 Γ）能实现最优性能？

主要发现

• 与最先进方法相比，C3 在 CIFAR-10 上提升聚类准确率 6.6%，在 CIFAR-100 上提升 3.3%，在 ImageNet-10 上提升 5.0%，在 ImageNet-Dogs 上提升 1.3%，在 Tiny-ImageNet 上提升 0.3%。
• 该方法显著降低了假阴性对的比例，通过将可靠的正样本对集合扩展至数据增强视图之外。
• 在 CIFAR-10 上使用 ζ = 0.6，在 Tiny-ImageNet 上使用 ζ = 0.95 可实现最优性能，平衡了相似性检测的敏感性与特异性。
• 使用 Γ = 0.1 的加权方案能有效优先处理聚类边界附近的困难样本，从而提升模型泛化能力。
• t-SNE 可视化显示，C3 生成的聚类比标准对比聚类更紧凑且分离度更高。
• 消融实验表明，基于相似性的正样本对发现机制与加权负样本采样策略对性能提升均至关重要。