[论文解读] CANU-ReID: A Conditional Adversarial Network for Unsupervised person Re-IDentification

Guillaume Delorme, Yihong Xu+3 more|arXiv (Cornell University)|Apr 2, 2019

Video Surveillance and Tracking Methods参考文献 56被引用 14

一句话总结

本文提出CANU-ReID，一种条件对抗性网络，通过将基于摄像头的对抗性训练条件化于聚类中心，减少与摄像头相关的特征偏差，从而提升无监督行人重识别性能。该方法通过统一基于聚类的伪标签生成与身份感知的域自适应，在四个基准设置中均实现了最先进性能。

ABSTRACT

Unsupervised person re-ID is the task of identifying people on a target data set for which the ID labels are unavailable during training. In this paper, we propose to unify two trends in unsupervised person re-ID: clustering & fine-tuning and adversarial learning. On one side, clustering groups training images into pseudo-ID labels, and uses them to fine-tune the feature extractor. On the other side, adversarial learning is used, inspired by domain adaptation, to match distributions from different domains. Since target data is distributed across different camera viewpoints, we propose to model each camera as an independent domain, and aim to learn domain-independent features. Straightforward adversarial learning yields negative transfer, we thus introduce a conditioning vector to mitigate this undesirable effect. In our framework, the centroid of the cluster to which the visual sample belongs is used as conditioning vector of our conditional adversarial network, where the vector is permutation invariant (clusters ordering does not matter) and its size is independent of the number of clusters. To our knowledge, we are the first to propose the use of conditional adversarial networks for unsupervised person re-ID. We evaluate the proposed architecture on top of two state-of-the-art clustering-based unsupervised person re-identification (re-ID) methods on four different experimental settings with three different data sets and set the new state-of-the-art performance on all four of them. Our code and model will be made publicly available at https://team.inria.fr/perception/canu-reid/.

研究动机与目标

• 解决无监督行人重识别中的域偏移问题，其中目标数据缺乏身份标签。
• 克服标准对抗学习中的负迁移问题，后者会无意中将摄像头特定偏差编码到特征中。
• 统一基于聚类的伪标签生成与对抗性域自适应，以提升跨摄像头视角的特征泛化能力。
• 设计一种条件机制，在减少特征中摄像头依赖性的同时保留身份信息。
• 证明条件对抗训练可提升聚类质量与重识别性能，且无需依赖目标数据的标签。

提出的方法

• 使用预训练的特征提取器从目标图像中生成深层特征，无需真实身份标签。
• 应用DBSCAN聚类将特征分组为伪ID，使用聚类中心作为身份表示。
• 设计一个条件对抗判别器，其在分类摄像头域的同时，以样本所属聚类的中心为条件。
• 确保条件向量对排列不变且与聚类数量无关，从而实现可扩展性与鲁棒性。
• 通过最小化极大目标联合训练特征提取器与判别器，其中生成器最小化域分类误差，同时保持身份一致性。
• 将条件对抗模块作为即插即用模块集成到现有基于聚类的无监督重识别框架（如MMT）中。

实验结果

研究问题

• RQ1 对抗学习能否有效减少无监督行人重识别中与摄像头相关的偏差？
• RQ2 将对抗判别器条件化于聚类中心，是否能缓解因摄像头间ID分布不均导致的负迁移问题？
• RQ3 与标准对抗训练相比，所提出的条件策略在聚类质量与重识别准确率方面表现如何？
• RQ4 该方法在消除特征表示中摄像头依赖性的同时，能在多大程度上保留身份信息？
• RQ5 所提出的框架是否可普遍应用于增强现有基于聚类的无监督重识别基线方法？

主要发现

• CANU-ReID 在三个数据集（DukeMTMC、Market-1501 和 MSMT1287）的四个评估无监督重识别设置中均达到新的最先进性能。
• 条件对抗策略显著降低了伪标签与摄像头索引之间的互信息，表明学习到的特征中摄像头依赖性更低。
• 该方法在迭代聚类过程中减少了丢失的身份数量，表明在训练周期中伪标签生成更具稳定性和鲁棒性。
• 与简单对抗训练相比，CANU-ReID 在减少摄像头偏差的同时更好地保留了身份信息，这一结论在消融实验中得到验证。
• 基于聚类中心的条件机制可生成更一致且更具泛化能力的特征，即使聚类数量发生变化亦如此。
• 所提出的框架与现有基于聚类的重识别方法兼容，并在集成后始终能一致提升其性能。