[论文解读] Dual Cluster Contrastive learning for Object Re-Identification

Hantao Yao, Changsheng Xu|arXiv (Cornell University)|Dec 9, 2021

Domain Adaptation and Few-Shot Learning被引用 5

一句话总结

本文提出双簇对比学习（DCC），一种用于行人重识别（ReID）的新颖框架，通过联合使用基于个体的簇内存和基于质心的簇内存，以稳定对比学习。通过同时利用实例级别和簇均值级别的动量更新，DCC在监督和无监督ReID基准上均达到最先进性能，mAP相比之前方法最高提升3.5%。

ABSTRACT

Recently, cluster contrastive learning has been proven effective for object ReID by computing the contrastive loss between the individual features and the cluster memory. However, existing methods that use the individual features to momentum update the cluster memory will fluctuate over the training examples, especially for the outlier samples. Unlike the individual-based updating mechanism, the centroid-based updating mechanism that applies the mean feature of each cluster to update the cluster memory can reduce the impact of individual samples. Therefore, we formulate the individual-based updating and centroid-based updating mechanisms in a unified cluster contrastive framework, named Dual Cluster Contrastive framework (DCC), which maintains two types of memory banks: individual and centroid cluster memory banks. Significantly, the individual cluster memory considers just one individual at a time to take a single step for updating. The centroid cluster memory applies the mean feature of each cluster to update the corresponding cluster memory. During optimization, besides the vallina contrastive loss of each memory, a cross-view consistency constraint is applied to exchange the benefits of two memories for generating a discriminative description for the object ReID. Note that DCC can be easily applied for unsupervised or supervised object ReID by using ground-truth labels or the generated pseudo-labels. Extensive experiments on three benchmarks, \emph{e.g.,} Market-1501, MSMT17, and VeRi-776, under extbf{supervised Object ReID} and extbf{unsupervised Object ReID} demonstrate the superiority of the proposed DCC.

研究动机与目标

• 为解决在簇对比学习中，由于异常样本影响，基于个体的动量更新机制带来的不稳定性问题。
• 通过引入互补的基于质心的更新机制，提升行人ReID中表示学习的稳定性和判别能力。
• 将基于个体的簇对比学习与基于质心的簇对比学习统一为单一、高效的框架（DCC），适用于监督与无监督ReID任务。
• 降低对学习率、批量大小和动量因子等超参数的敏感性，提升训练收敛性与泛化能力。

提出的方法

• DCC维护两个独立的内存库：一个用于个体特征（个体簇内存），另一个用于簇均值特征（质心簇内存）。
• 个体簇内存通过基于动量的个体特征追踪机制进行更新，其机制类似于随机梯度下降。
• 质心簇内存通过每个簇的均值特征进行更新，其机制类似于批量梯度下降，可有效降低异常样本带来的噪声影响。
• 在两个内存库之间施加跨视图一致性约束，以对齐其表征并增强判别能力。
• 该框架可与任意主干网络集成，并可结合真实标签（监督设置）或伪标签（无监督设置）使用。
• 对比损失在两个内存库上独立计算，其联合优化显著提升了特征表示的质量。

实验结果

研究问题

• RQ1 结合基于个体与基于质心的簇更新机制的双内存机制，是否能提升行人ReID中对比学习的稳定性？
• RQ2 与基于个体的更新机制相比，基于质心的更新机制在多大程度上可减轻噪声或异常样本的影响？
• RQ3 对个体内存库与质心内存库进行联合优化，是否能在监督与无监督ReID设置下均带来更好的泛化性能？
• RQ4 在不同基准上，DCC相较于现有簇对比学习方法，在mAP与R1指标上的性能提升程度如何？

主要发现

• 在Market-1501数据集上，DCC在监督ReID中达到89.9% mAP与64.3% R1，优于Circle Loss（87.4% mAP，52.1% R1）。
• 在无监督ReID中，DCC在Market-1501上达到35.9% mAP与64.3% R1，显著超越此前SOTA方法（31.2% mAP，ClusterContrastive(Infomap)）。
• 在MSMT17数据集上，DCC使用ResNet50-ibn模型达到42.1% mAP与87.9% R1，显著超过此前SOTA方法（40.8% mAP，ClusterContrastive(Infomap)）。
• 在VeRi-776数据集上，DCC在无监督ReID中达到36.6% mAP与64.9% R1，优于所有先前的无监督方法。
• 与原始簇对比学习相比，DCC展现出更快的收敛速度，并对批量大小与动量超参数的敏感性更低。
• 消融实验证实，个体内存与质心内存之间的跨视图一致性约束对性能提升至关重要。