[论文解读] Hierarchical Clustering with Hard-batch Triplet Loss for Person Re-identification

Kaiwei Zeng|arXiv (Cornell University)|Oct 27, 2019

Video Surveillance and Tracking Methods参考文献 34被引用 32

一句话总结

本文提出HCT，一种完全无监督的人重识别方法，通过结合层次聚类与难样本三元组损失生成高质量伪标签。通过迭代地利用PK采样和难样本三元组训练来优化伪标签，HCT在Market-1501上达到56.4% mAP，在DukeMTMC-reID上达到50.7% mAP，超越了当前最先进的无监督方法，甚至优于许多无监督域自适应方法。

ABSTRACT

For most unsupervised person re-identification (re-ID), people often adopt unsupervised domain adaptation (UDA) method. UDA often train on the labeled source dataset and evaluate on the target dataset, which often focuses on learning differences between the source dataset and the target dataset to improve the generalization of the model. Base on these, we explore how to make use of the similarity of samples to conduct a fully unsupervised method which just trains on the unlabeled target dataset. Concretely, we propose a hierarchical clustering-guided re-ID (HCR) method. We use hierarchical clustering to generate pseudo labels and use these pseudo labels as monitors to conduct the training. In order to exclude hard examples and promote the convergence of the model, We use PK sampling in each iteration, which randomly selects a fixed number of samples from each cluster for training. We evaluate our model on Market-1501, DukeMTMC-reID and MSMT17. Results show that HCR gets the state-of-the-arts and achieves 55.3% mAP on Market-1501 and 46.8% mAP on DukeMTMC-reID. Our code will be released soon.

研究动机与目标

• 为解决完全无监督重识别方法因聚类生成的伪标签质量差而导致性能下降的问题。
• 通过在目标域中利用样本间相似性进行层次聚类，提升伪标签质量。
• 缓解难样本（来自不同身份但外观相似的样本）对聚类和训练造成的负面影响。
• 通过迭代重新初始化伪标签并使用难样本三元组损失微调，提升模型收敛性和性能。
• 在不依赖任何人工标注源数据的前提下，实现完全无监督重识别的最先进性能。

提出的方法

• 使用层次聚类根据特征相似性将目标数据集中的样本分组为簇，初始时每个样本作为独立簇。
• 在每次迭代中，基于簇间距离将固定数量的簇进行合并，生成用于训练的伪标签。
• 应用PK采样，选择K个身份，每个身份包含P个正样本，构成用于难样本三元组损失训练的小批量。
• 使用难样本三元组损失最小化类内距离并最大化类间距离，提升特征判别能力。
• 在每次迭代开始时重新初始化伪标签，以纠正错误分配，随时间推移提升标签质量。
• 重复聚类、采样和训练过程直至模型收敛，采用早停策略以避免过拟合。

实验结果

研究问题

• RQ1 层次聚类能否有效为完全无监督人重识别生成高质量伪标签？
• RQ2 在使用噪声伪标签训练时，难样本三元组损失如何提升模型泛化能力？
• RQ3 在最大化性能的前提下，簇合并速度（通过合并百分比控制）与簇数量（通过s控制）之间应如何权衡？
• RQ4 伪标签的迭代重新初始化能否减少误差传播并改善收敛性？
• RQ5 将层次聚类与难样本三元组损失结合，是否优于现有无监督及无监督域自适应方法？

主要发现

• HCT在Market-1501上达到56.4% mAP，在DukeMTMC-reID上达到50.7% mAP，显著超越当前最先进的完全无监督重识别方法。
• 该方法超越了众多依赖标注源数据的无监督域自适应方法，证明了仅在目标域上进行自监督学习的有效性。
• 在Market-1501上将簇数设为s=13时性能最佳，因其在标签质量和收敛稳定性之间实现了良好平衡。
• 合并百分比（mp）为0.07时取得最优结果，表明适中的合并速度有助于保持簇的质量。
• T-SNE可视化结果表明，HCT有效减少了误匹配（错误合并不同身份）和漏匹配（正确匹配的身份被分到不同簇）现象。
• 层次聚类与难样本三元组损失的结合，使特征表示更加紧凑且具有判别性，这一点由聚类质量与mAP的提升得到验证。