[论文解读] Joint Noise-Tolerant Learning and Meta Camera Shift Adaptation for Unsupervised Person Re-Identification

Fengxiang Yang, Zhun Zhong+5 more|arXiv (Cornell University)|Mar 8, 2021

Video Surveillance and Tracking Methods参考文献 30被引用 15

一句话总结

本文提出了一种统一的无监督行人重识别框架，通过动态对称交叉熵损失（DSCE）和相机感知元学习方法（MetaCam）联合解决噪声伪标签和相机漂移问题。DSCE能够动态适应变化的聚类中心并抵抗噪声标签，而MetaCam通过在训练过程中模拟跨相机检索，实现相机不变特征学习，从而在三个基准数据集上达到最先进性能。

ABSTRACT

This paper considers the problem of unsupervised person re-identification (re-ID), which aims to learn discriminative models with unlabeled data. One popular method is to obtain pseudo-label by clustering and use them to optimize the model. Although this kind of approach has shown promising accuracy, it is hampered by 1) noisy labels produced by clustering and 2) feature variations caused by camera shift. The former will lead to incorrect optimization and thus hinders the model accuracy. The latter will result in assigning the intra-class samples of different cameras to different pseudo-label, making the model sensitive to camera variations. In this paper, we propose a unified framework to solve both problems. Concretely, we propose a Dynamic and Symmetric Cross-Entropy loss (DSCE) to deal with noisy samples and a camera-aware meta-learning algorithm (MetaCam) to adapt camera shift. DSCE can alleviate the negative effects of noisy samples and accommodate the change of clusters after each clustering step. MetaCam simulates cross-camera constraint by splitting the training data into meta-train and meta-test based on camera IDs. With the interacted gradient from meta-train and meta-test, the model is enforced to learn camera-invariant features. Extensive experiments on three re-ID benchmarks show the effectiveness and the complementary of the proposed DSCE and MetaCam. Our method outperforms the state-of-the-art methods on both fully unsupervised re-ID and unsupervised domain adaptive re-ID.

研究动机与目标

• 解决无监督行人重识别中由聚类产生的噪声伪标签和相机漂移引起的特征变化双重挑战。
• 通过学习无需依赖标注数据的相机不变表示，提升模型的鲁棒性和泛化能力。
• 开发一种能够适应迭代聚类和伪标签过程中演化聚类结构的训练框架。
• 在完全无监督重识别和无监督域自适应设置下均实现最先进性能。

提出的方法

• 提出一种动态对称交叉熵（DSCE）损失，通过维护特征记忆来动态更新类别中心，减轻噪声伪标签的影响。
• 设计DSCE以增强对标签噪声的鲁棒性，采用对称软标签形式，为所有类别分配小的非零概率，从而降低对错误伪标签的过拟合。
• 提出MetaCam，一种基于相机ID将训练数据划分为元训练和元测试集的相机感知元学习算法，以模拟跨相机重识别。
• 通过元优化同时利用元训练（源相机）和元测试（目标相机）任务的梯度来更新主干网络，促进相机不变特征学习。
• 采用特征记忆库在训练迭代过程中存储并更新特征表示，实现动态聚类适应。
• 在联合训练流程中结合DSCE与MetaCam，迭代优化伪标签并提升在噪声和域偏移下的特征鲁棒性。

实验结果

研究问题

• RQ1 在无监督重识别的迭代聚类过程中，如何使损失函数对动态演化的噪声伪标签保持鲁棒？
• RQ2 元学习能否被有效应用于在无需标注数据的情况下强制学习相机不变表示？
• RQ3 在噪声容忍与相机漂移适应方面进行联合优化，能在多大程度上提升无监督重识别性能？
• RQ4 所提出的框架是否能在完全无监督和无监督域自适应设置下均实现良好泛化？

主要发现

• 在无监督域自适应设置下，该方法在Market-1501上达到76.5% mAP，在DukeMTMC-reID上达到65.0% mAP，分别优于之前最先进方法MMT-500的5.3%和1.9%。
• 在完全无监督重识别设置下，该方法在三个基准数据集上均达到最先进性能，展现出强大的泛化能力和鲁棒性。
• 消融实验表明，DSCE与MetaCam均对性能提升有显著贡献，二者联合使用时具有互补效应。
• 理论证明DSCE损失对噪声标签具有鲁棒性，满足多分类任务中噪声容忍的必要条件。
• MetaCam有效降低了对相机差异的敏感性，定性可视化结果表明，来自不同相机的同类样本被更紧密地聚类在一起。
• 该方法与现有UDA方法兼容，并进一步将MMT-500在Market-1501上的性能提升5.3% mAP，在DukeMTMC-reID上提升1.9% mAP。