[论文解读] Deep Metric Learning Meets Deep Clustering: An Novel Unsupervised Approach for Feature Embedding

Binh X. Nguyen, B. D. Nguyen+4 more|arXiv (Cornell University)|Sep 9, 2020

Video Surveillance and Tracking Methods参考文献 55被引用 8

一句话总结

本文提出CBSwR，一种新颖的无监督深度度量学习方法，通过将深度聚类与度量学习相结合，解决了无标签情况下正样本/负样本挖掘的挑战。通过聚类学习伪标签，并利用这些伪标签指导基于中心的度量损失，该方法在CUB200-2011和CARS196数据集上实现了最先进的检索性能，在召回率指标上优于现有无监督方法，同时保持了出色的聚类质量。

ABSTRACT

Unsupervised Deep Distance Metric Learning (UDML) aims to learn sample similarities in the embedding space from an unlabeled dataset. Traditional UDML methods usually use the triplet loss or pairwise loss which requires the mining of positive and negative samples w.r.t. anchor data points. This is, however, challenging in an unsupervised setting as the label information is not available. In this paper, we propose a new UDML method that overcomes that challenge. In particular, we propose to use a deep clustering loss to learn centroids, i.e., pseudo labels, that represent semantic classes. During learning, these centroids are also used to reconstruct the input samples. It hence ensures the representativeness of centroids - each centroid represents visually similar samples. Therefore, the centroids give information about positive (visually similar) and negative (visually dissimilar) samples. Based on pseudo labels, we propose a novel unsupervised metric loss which enforces the positive concentration and negative separation of samples in the embedding space. Experimental results on benchmarking datasets show that the proposed approach outperforms other UDML methods.

研究动机与目标

• 解决无监督深度度量学习（UDML）中因缺乏类别标签而导致的正负样本挖掘挑战。
• 通过减少对全数据集上计算成本较高的成对或三元组挖掘的依赖，提升UDML的训练效率。
• 学习具有代表性的聚类中心，作为语义分组的伪标签，实现在无监督条件下的有效度量学习。
• 在无监督特征嵌入与检索任务中实现最先进性能，尤其在零样本和低资源设置下表现优异。

提出的方法

• 该方法提出一种新型损失函数，结合可学习的聚类头、重建损失和基于中心的度量损失，联合优化聚类与度量学习。
• 通过可微分的聚类头生成伪标签，将样本分配给可学习的中心点，代表嵌入空间中的语义类别。
• 利用基于动量的统计方法在训练过程中更新中心点，确保聚类中心的稳定性和代表性。
• 度量损失利用伪标签作为监督信号，强制实现类内紧凑性（正样本集中）和类间分离性（负样本分离）。
• 通过从聚类中心重建输入样本应用重建损失，确保中心点能代表视觉模式。
• 该方法通过伪标签定义正负样本集，避免了显式的三元组或成对样本挖掘，从而降低计算复杂度。

实验结果

研究问题

• RQ1 在缺乏真实标签的情况下，能否有效利用深度聚类生成可靠的伪标签以支持无监督度量学习？
• RQ2 在无监督条件下，如何利用伪标签定义有意义的正负样本用于三元组或成对度量学习？
• RQ3 联合优化聚类、重建与度量学习是否能产生优于现有无监督度量学习方法的特征嵌入？
• RQ4 与无监督和监督基线相比，所提出方法在检索基准上的性能是否具有竞争力？

主要发现

• 在CUB200-2011数据集上，CBSwR在R@8时达到80.5%的召回率，优于先前最先进无监督方法SME（80.2%），并在所有R@K指标上与其它无监督方法持平或超越。
• 在CARS196数据集上，CBSwR在R@8时达到76.0%的召回率，优于所有其他无监督方法（包括MOM和SME），并接近监督方法的性能。
• CBSwR在CARS196上获得37.6%的标准化互信息（NMI）分数，表明其聚类质量优异，与最先进无监督聚类方法相当。
• 该方法在检索与聚类性能上均优于先前最先进无监督度量学习方法SME，证明了联合聚类-度量学习框架的有效性。
• 消融实验确认，重建损失与基于中心的度量损失均对实现最优性能至关重要，各组件均对提升嵌入质量有贡献。
• CBSwR与监督方法（如智能挖掘三元组损失和基于代理的三元组损失）相比表现具有竞争力，表明其在零样本设置下具备强大的可迁移性与泛化能力。