[论文解读] DomainMix: Learning Generalizable Person Re-Identification Without Human Annotations

Wenhao Wang, Shengcai Liao+3 more|arXiv (Cornell University)|Nov 24, 2020

Video Surveillance and Tracking Methods参考文献 33被引用 22

一句话总结

本文提出 DomainMix，一种用于行人重识别的新颖框架，仅使用带标签的合成数据和无标签的真实世界图像进行训练，从而无需人工标注。通过引入领域平衡损失并自适应聚类真实图像，DomainMix 有效减小了领域差距，在多个基准测试中实现了最先进性能，且完全无需人工标注的真实数据。

ABSTRACT

Existing person re-identification models often have low generalizability, which is mostly due to limited availability of large-scale labeled data in training. However, labeling large-scale training data is very expensive and time-consuming, while large-scale synthetic dataset shows promising value in learning generalizable person re-identification models. Therefore, in this paper a novel and practical person re-identification task is proposed,i.e. how to use labeled synthetic dataset and unlabeled real-world dataset to train a universal model. In this way, human annotations are no longer required, and it is scalable to large and diverse real-world datasets. To address the task, we introduce a framework with high generalizability, namely DomainMix. Specifically, the proposed method firstly clusters the unlabeled real-world images and selects the reliable clusters. During training, to address the large domain gap between two domains, a domain-invariant feature learning method is proposed, which introduces a new loss,i.e. domain balance loss, to conduct an adversarial learning between domain-invariant feature learning and domain discrimination, and meanwhile learns a discriminative feature for person re-identification. This way, the domain gap between synthetic and real-world data is much reduced, and the learned feature is generalizable thanks to the large-scale and diverse training data. Experimental results show that the proposed annotation-free method is more or less comparable to the counterpart trained with full human annotations, which is quite promising. In addition, it achieves the current state of the art on several person re-identification datasets under direct cross-dataset evaluation.

研究动机与目标

• 解决在小规模人工标注数据集上训练的行人重识别模型泛化能力有限的问题。
• 消除对昂贵人工标注真实世界训练数据的依赖。
• 通过有效结合大规模带标签合成数据与多样化无标签真实世界数据，提升模型泛化能力。
• 在无需标注真实数据的前提下，有效减小合成数据与真实世界数据之间的领域差距。
• 开发一种可扩展的无标注训练范式，使其在未见目标领域上具有良好泛化性能。

提出的方法

• 在每个训练周期内使用 DBSCAN 对无标签真实世界图像进行聚类，以发现潜在身份。
• 应用紧凑性、独立性和数量三个标准，从噪声聚类结果中筛选并选择可靠的聚类。
• 引入领域平衡损失，实现领域不变特征学习与领域判别之间的对抗学习。
• 训练一个联合模型，学习行人重识别的判别性特征，同时最小化合成数据与真实数据之间的领域偏移。
• 采用自适应分类层初始化方法，根据每个周期选定聚类中的身份数量动态调整。
• 在多种主干网络架构（如 IBN-Net 和 OSNet-IBN）上应用该框架，证明其具有广泛的兼容性。

实验结果

研究问题

• RQ1 能否在完全不依赖人工标注真实世界训练数据的前提下，使行人重识别模型实现高泛化性能？
• RQ2 如何有效减小合成数据与真实世界数据之间的领域差距，以提升模型泛化能力？
• RQ3 能否通过聚类方法在无标注真实世界数据中发现可靠身份，而无需先验标注？
• RQ4 与标准领域自适应方法相比，对抗性领域平衡学习是否能提升跨领域特征的泛化能力？
• RQ5 在无任何人工标注的前提下，该框架能否在直接跨数据集评估中实现最先进性能？

主要发现

• 在 Market1501 上，DomainMix 仅使用带标签合成数据和无标签真实世界数据，即达到 43.5% mAP 和 70.2% rank-1 准确率，优于使用完整人工标注数据训练的模型。
• 在 CUHK03-NP 上，DomainMix 达到 16.7% mAP 和 18.0% rank-1，超越所有基于 RandPerson 且无真实世界标注的基线模型。
• 采用 OSNet-IBN 主干网络时，DomainMix 在 Market1501 上实现 44.6% mAP 和 72.9% rank-1，创下该无标注设定下的新最先进水平。
• 当结合 RandPerson 合成数据与无标签 MSMT17 数据时，该方法相较基线模型性能最高提升 7.0% mAP。
• 领域平衡损失显著减小了合成数据与真实数据之间的领域差距，从而提升了对未见领域的泛化能力。
• 该框架在不同数据集间具有良好的泛化性能，当在 RandPerson 和无标签 Market1501 上训练时，于 MSMT17 上实现 13.6% mAP 和 36.2% rank-1 的最先进结果。