[论文解读] Deep Transfer Learning for Person Re-identification

Mengyue Geng, Yaowei Wang+2 more|arXiv (Cornell University)|Nov 16, 2016

Video Surveillance and Tracking Methods参考文献 40被引用 218

一句话总结

本论文提出一个用于人群再识别的深度迁移学习框架，使用 ImageNet 预训练的双损失 Siamese 网络、两步微调策略，以及基于协同训练的无监督迁移，在若干数据集上达到最先进的 Rank-1 结果。

ABSTRACT

Person re-identification (Re-ID) poses a unique challenge to deep learning: how to learn a deep model with millions of parameters on a small training set of few or no labels. In this paper, a number of deep transfer learning models are proposed to address the data sparsity problem. First, a deep network architecture is designed which differs from existing deep Re-ID models in that (a) it is more suitable for transferring representations learned from large image classification datasets, and (b) classification loss and verification loss are combined, each of which adopts a different dropout strategy. Second, a two-stepped fine-tuning strategy is developed to transfer knowledge from auxiliary datasets. Third, given an unlabelled Re-ID dataset, a novel unsupervised deep transfer learning model is developed based on co-training. The proposed models outperform the state-of-the-art deep Re-ID models by large margins: we achieve Rank-1 accuracy of 85.4\%, 83.7\% and 56.3\% on CUHK03, Market1501, and VIPeR respectively, whilst on VIPeR, our unsupervised model (45.1\%) beats most supervised models.

研究动机与目标

• 将 Re-ID 视为数据稀缺的深度学习问题，其动机在于标注数据集较小。
• 设计一个网络架构，将在 ImageNet 上学习的表示转移到 Re-ID 任务。
• 开发训练策略（两步微调）以弥合任务与域之间的差距。
• 引入一个无监督、基于协同训练的迁移学习模型，用于无标签的 Re-ID 数据。

提出的方法

• 使用一个具有共享基网络（GoogLeNet）的双分支 Siamese 网络。
• 将身份分类损失与成对验证损失结合，以学习可迁移的特征。
• 采用损失特定的 dropout：用于分类的标准 dropout，以及用于验证的成对一致 dropout。
• 提出两步微调策略（先微调新的分类层，然后微调所有层）。
• 开发一个基于协同训练的无监督域自适应框架，结合带有图正则化子空间学习模型的自训练深度 CNNs。

实验结果

研究问题

• RQ1 能否通过双损失目标有效将 ImageNet 推导的表示转移到人 Re-ID？
• RQ2 两步微调策略是否能改进从 ImageNet 到大规模再到小规模 Re-ID 数据集的迁移？
• RQ3 通过协同训练进行的无监督域自适应是否能在 Re-ID 基准上超过有监督方法？

主要发现

• 所提出的模型在 CUHK03、Market1501 和 VIPeR 上的 Rank-1 精度分别达到 85.4%、83.7%、56.3%。
• 在 VIPeR 上，无监督模型（45.1%）击败大多数有监督模型，显示出强大的无监督迁移性能。
• 通过成对一致 dropout，将 Re-ID 准确率提升约 3%。
• 两步微调策略优于传统的一步微调，尤其当目标数据较小时。
• 在 5 个基准测试中，所提出的模型在深度 Re-ID 模型中以显著优势超越了最先进模型。