[论文解读] Cluster Contrast for Unsupervised Person Re-Identification

Zuozhuo Dai, Guangyuan Wang+4 more|arXiv (Cornell University)|Mar 22, 2021

Video Surveillance and Tracking Methods参考文献 48被引用 59

一句话总结

本文提出 Cluster Contrast，一种带动量更新的聚类级记忆字典，用于无监督的行人重识别，在多项基准测试中超越纯粹无监督方法的最新结果。

ABSTRACT

State-of-the-art unsupervised re-ID methods train the neural networks using a memory-based non-parametric softmax loss. Instance feature vectors stored in memory are assigned pseudo-labels by clustering and updated at instance level. However, the varying cluster sizes leads to inconsistency in the updating progress of each cluster. To solve this problem, we present Cluster Contrast which stores feature vectors and computes contrast loss at the cluster level. Our approach employs a unique cluster representation to describe each cluster, resulting in a cluster-level memory dictionary. In this way, the consistency of clustering can be effectively maintained throughout the pipline and the GPU memory consumption can be significantly reduced. Thus, our method can solve the problem of cluster inconsistency and be applicable to larger data sets. In addition, we adopt different clustering algorithms to demonstrate the robustness and generalization of our framework. The application of Cluster Contrast to a standard unsupervised re-ID pipeline achieves considerable improvements of 9.9%, 8.3%, 12.1% compared to state-of-the-art purely unsupervised re-ID methods and 5.5%, 4.8%, 4.4% mAP compared to the state-of-the-art unsupervised domain adaptation re-ID methods on the Market, Duke, and MSMT17 datasets. Code is available at https://github.com/alibaba/cluster-contrast.

研究动机与目标

• 通过减少记忆字典更新与模型更新之间的特征不一致性来激励并改进无监督行人重识别。
• 提出一个聚类级记忆字典，其中每个聚类由一个特征向量表示。
• 开发一个聚类级对比损失（ClusterNCE），在聚类表征上而非单个实例上进行运算。
• 引入动量更新机制，以在训练迭代中加强聚类特征的一致性。

提出的方法

• 以聚类特征向量初始化的聚类级记忆字典进行存储，每个聚类的向量为该聚类的平均特征。
• 在记忆字典中的所有聚类表征（phi_k）与查询特征之间计算 ClusterNCE 损失。
• 通过动量更新聚类表征：phi_k <- m * phi_k + (1 - m) * q，其中 q 属于聚类 k 的查询。
• 在训练轮初通过离线聚类（DBSCAN）初始化聚类，并在每轮更新聚类数量 K。
• 使用 ResNet-50 骨干网络，2048 维特征，标准增强和基于 DBSCAN 的伪标签。
• 使用 Adam、温度 tau，以及固定动量 m 的训练，以在迭代之间强化特征的一致性。

实验结果

研究问题

• RQ1 相对于实例级记忆方法，带动量更新的聚类级记忆是否能降低无监督重识别中的特征不一致性？
• RQ2 在纯无监督重识别流程中，基于聚类表征的 ClusterNCE 是否优于传统的实例级对比损失？
• RQ3 动态聚类（改变 K）如何与聚类级对比学习及动量更新互动？
• RQ4 在使用 Cluster Contrast 与先前无监督方法相比，在标准重识别基准上的经验提升有哪些？

主要发现

数据集	方法	mAP	top-1	top-5	top-10
Market-1501	Ours	83.0	92.9	—	—
Market-1501	SSL	37.8	71.7	83.8	87.4
Market-1501	MMCL	45.5	80.3	89.4	92.3
Market-1501	HCT	56.4	80.0	91.6	95.2
Market-1501	CycAs	64.8	84.8	-	-
Market-1501	UGA	70.3	87.2	-	-
Market-1501	SPCL	73.1	88.1	95.1	97.0
Market-1501	IICS	72.1	88.8	95.3	96.9
Market-1501	OPLG	78.1	91.1	96.4	97.7
Market-1501	RLCC	77.7	90.8	96.3	97.5
Market-1501	ICE	79.5	92.0	97.0	98.1
Market-1501	PPLR	81.5	92.8	97.1	98.1
MSMT17	Ours	33.0	62.0	-	-
MSMT17	MMT	75.6	89.3	95.8	97.5
MSMT17	SPCL	77.5	89.7	96.1	97.6
MSMT17	SPCL (None)	72.3	88.1	96.6	98.3
MSMT17	Ours	84.7	94.4	98.3	99.3
VeRi-776	Ours	40.8	86.2	90.5	92.8

• 在若干基准上实现了纯无监督重识别方法中的最先进性能。
• 带动量更新的聚类级记忆与 ClusterNCE 相较于实例级或仅聚类的基线，获得更高的 mAP 与 top-1 准确率。
• 对 batch size 的变化和聚类大小的变化具有鲁棒性，提升了类内和类间的特征分离。
• 在 Market-1501、MSMT17 及 PersonaX 上超越若干基线无监督方法，在 VeRi-776（车辆重识别）上也显示出竞争力。
• 消融研究证实聚类记忆、动量更新及聚类级损失相较于传统实例级方法的收益。