[论文解读] Camera Adversarial Transfer for Unsupervised Person Re-Identification.

Guillaume Delorme, Xavier Alameda-Pineda+2 more|arXiv (Cornell University)|Apr 2, 2019

Video Surveillance and Tracking Methods被引用 5

一句话总结

本文提出了一种用于无监督行人重识别的新型条件对抗学习框架，该框架将基于聚类的伪标签化与相机特定的域自适应相结合。通过在条件生成对抗网络中使用聚类中心作为排列不变的条件向量，该方法在多个相机视角下学习到域不变特征，在三个数据集的四个基准设置上取得了新的最先进性能。

ABSTRACT

Unsupervised person re-ID is the task of identifying people on a target data set for which the ID labels are unavailable during training. In this paper, we propose to unify two trends in unsupervised person re-ID: clustering & fine-tuning and adversarial learning. On one side, clustering groups training images into pseudo-ID labels, and uses them to fine-tune the feature extractor. On the other side, adversarial learning is used, inspired by domain adaptation, to match distributions from different domains. Since target data is distributed across different camera viewpoints, we propose to model each camera as an independent domain, and aim to learn domain-independent features. Straightforward adversarial learning yields negative transfer, we thus introduce a conditioning vector to mitigate this undesirable effect. In our framework, the centroid of the cluster to which the visual sample belongs is used as conditioning vector of our conditional adversarial network, where the vector is permutation invariant (clusters ordering does not matter) and its size is independent of the number of clusters. To our knowledge, we are the first to propose the use of conditional adversarial networks for unsupervised person re-ID. We evaluate the proposed architecture on top of two state-of-the-art clustering-based unsupervised person re-identification (re-ID) methods on four different experimental settings with three different data sets and set the new state-of-the-art performance on all four of them. Our code and model will be made publicly available at this https URL.

研究动机与目标

• 解决无监督行人重识别中的挑战，即训练数据缺乏身份标签。
• 缓解由于不同相机视角间分布差异导致的对抗学习中的负迁移问题。
• 将基于聚类的伪标签化与域自适应统一，以提升跨相机的特征泛化能力。
• 设计一种对聚类顺序鲁棒且与聚类数量无关的条件机制。
• 在无需身份标注的情况下，在多个无监督重识别基准上实现最先进性能。

提出的方法

• 将每个相机视角视为独立的域，以实现在无监督行人重识别中的域自适应。
• 使用伪ID标注得到的聚类中心作为条件对抗网络的条件向量。
• 设计条件向量使其具有排列不变性，以确保对聚类顺序的鲁棒性。
• 引入与聚类数量无关的条件向量大小，以保持可扩展性。
• 训练一个条件生成对抗网络，以对齐不同相机之间的特征分布，同时保持身份结构。
• 使用聚类生成的伪标签对特征提取器进行微调，结合对抗训练以提升泛化能力。

实验结果

研究问题

• RQ1 条件对抗学习能否改善无监督行人重识别中多个相机视角之间的特征对齐？
• RQ2 将聚类中心作为条件向量在跨相机特征学习中的模型鲁棒性和性能方面有何影响？
• RQ3 所提出的方法是否能缓解标准对抗域自适应在重识别中常见的负迁移现象？
• RQ4 当与现有基于聚类的无监督重识别方法集成时，该框架在多大程度上提升了性能？
• RQ5 该方法是否能在无需身份标注的情况下，泛化到多样化的数据集和实验设置中？

主要发现

• 所提出方法在三个基准数据集的四个实验设置中均取得了新的最先进性能。
• 使用聚类中心作为排列不变条件向量能有效稳定训练过程并减少负迁移。
• 通过条件对抗训练学习域不变表示，该框架显著改善了跨相机的特征对齐。
• 该方法在不同数据分布和相机配置下均保持性能优势，且无需额外监督。
• 消融研究证实，与标准对抗训练相比，该条件机制在多相机重识别中显著提升了性能。