[论文解读] Exploring Non-Contrastive Representation Learning for Deep Clustering

Zhizhong Huang, Jie Chen+2 more|arXiv (Cornell University)|Nov 23, 2021

Domain Adaptation and Few-Shot Learning参考文献 53被引用 4

一句话总结

本文提出NCC，一种基于BYOL的非对比学习深度聚类方法，通过消除负样本以避免类别碰撞。通过在EM框架内引入正样本采样策略和原型对比损失，NCC增强了类内紧凑性和类间分离度，在ImageNet-1K及其他基准数据集上实现了最先进性能。

ABSTRACT

Existing deep clustering methods rely on contrastive learning for representation learning, which requires negative examples to form an embedding space where all instances are well-separated. However, the negative examples inevitably give rise to the class collision issue, compromising the representation learning for clustering. In this paper, we explore non-contrastive representation learning for deep clustering, termed NCC, which is based on BYOL, a representative method without negative examples. First, we propose to align one augmented view of instance with the neighbors of another view in the embedding space, called positive sampling strategy, which avoids the class collision issue caused by the negative examples and hence improves the within-cluster compactness. Second, we propose to encourage alignment between two augmented views of one prototype and uniformity among all prototypes, named prototypical contrastive loss or ProtoCL, which can maximize the inter-cluster distance. Moreover, we formulate NCC in an Expectation-Maximization (EM) framework, in which E-step utilizes spherical k-means to estimate the pseudo-labels of instances and distribution of prototypes from a target network and M-step leverages the proposed losses to optimize an online network. As a result, NCC forms an embedding space where all clusters are well-separated and within-cluster examples are compact. Experimental results on several clustering benchmark datasets including ImageNet-1K demonstrate that NCC outperforms the state-of-the-art methods by a significant margin.

研究动机与目标

• 为解决基于对比学习的深度聚类中因使用负样本而引发的类别碰撞问题。
• 探索非对比表示学习作为深度聚类中对比方法的可行替代方案。
• 在不依赖负样本挖掘的前提下，提升类内紧凑性和类间分离度。
• 开发一种新型训练框架，将伪标签生成与原型学习整合到EM优化方案中。

提出的方法

• 提出一种正样本采样策略，将一个实例的增强视图与另一增强视图的邻居在嵌入空间中对齐，避免使用负样本。
• 引入一种原型对比损失（ProtoCL），以促进同一原型的两个增强视图之间的对齐，并实现所有原型之间的均匀性。
• 采用期望最大化（EM）框架：E步在目标网络输出上使用球面k-means来估计伪标签和原型分布。
• M步通过所提出的正样本采样和ProtoCL损失优化在线网络，以改进表示学习。
• 利用目标网络稳定训练过程，并在E步中提升伪标签质量。
• 将整个框架公式化为在嵌入空间中同时最大化类内紧凑性和类间分离度。

实验结果

研究问题

• RQ1 非对比表示学习能否消除对比学习在深度聚类中固有的类别碰撞问题？
• RQ2 如何在不依赖负样本的情况下提升类内紧凑性？
• RQ3 原型级别的对比损失能否增强深度聚类中的类间分离度？
• RQ4 将非对比学习整合到EM框架中是否能带来更好的聚类性能？

主要发现

• NCC在多个基准数据集上优于现有的最先进对比学习与非对比学习深度聚类方法。
• 所提出的正样本采样策略通过避免负样本显著减少了类别碰撞问题。
• 原型对比损失（ProtoCL）有效增加了类间距离，提升了聚类可分性。
• 基于EM的框架结合E步中的球面k-means，可生成更准确的伪标签并实现更稳定的训练。
• 在ImageNet-1K上，NCC相较于现有方法展现出显著的性能优势，证明了其强大的泛化能力。
• 消融实验验证了正样本采样和ProtoCL组件在提升聚类准确率方面的有效性。