[论文解读] Cross Domain Knowledge Transfer for Person Re-identification

Qiqi Xiao, Kelei Cao+3 more|arXiv (Cornell University)|Nov 18, 2016

Video Surveillance and Tracking Methods参考文献 29被引用 14

一句话总结

本文提出了一种用于行人重识别的跨域知识迁移框架，通过利用预训练模型中的中级属性特征和高级分类特征，提升重识别准确率。通过在迁移知识至重识别任务前，按顺序微调身份分类和属性识别任务，并引入空间门控LSTM以关注判别性身体部位，该方法在CUHK03数据集上实现了78.3%的rank-1准确率，优于当前最先进方法。

ABSTRACT

Person Re-Identification (re-id) is a challenging task in computer vision, especially when there are limited training data from multiple camera views. In this paper, we pro- pose a deep learning based person re-identification method by transferring knowledge of mid-level attribute features and high-level classification features. Building on the idea that identity classification, attribute recognition and re- identification share the same mid-level semantic representations, they can be trained sequentially by fine-tuning one based on another. In our framework, we train identity classification and attribute recognition tasks from deep Convolutional Neural Network (dCNN) to learn person information. The information can be transferred to the person re-id task and improves its accuracy by a large margin. Further- more, a Long Short Term Memory(LSTM) based Recurrent Neural Network (RNN) component is extended by a spacial gate. This component is used in the re-id model to pay attention to certain spacial parts in each recurrent unit. Experimental results show that our method achieves 78.3% of rank-1 recognition accuracy on the CUHK03 benchmark.

研究动机与目标

• 通过从相关任务迁移知识，提升在有限训练数据下的行人重识别性能。
• 解决行人重识别中跨摄像头视角下域偏移与外观变化的挑战。
• 通过利用中级语义属性与高级分类特征，增强特征表示能力。
• 开发一种空间门控LSTM机制，聚焦于判别性身体部位，以提升行人重识别准确率。

提出的方法

• 该方法在不同数据集（如Market1501和自标注的网络爬取数据集）上按顺序训练身份分类与属性识别任务，以学习共享的中级语义表征。
• 通过特征蒸馏，将预训练的分类与属性模型的知识迁移至重识别模型，提升特征的判别能力。
• 引入空间门控LSTM组件，其中可学习的门控机制在每个循环步骤中动态强调特征图中的特定空间区域。
• 空间门控在神经网络的较低层应用，以保留细粒度的空间细节，增强对关键身体部位的关注。
• 重识别模型与门控LSTM端到端联合训练，使注意力能够自适应地聚焦于特征提取过程中的相关区域。
• 该框架支持跨域迁移，即在某一数据集（如Market1501）上训练的模型可在另一数据集（如CUHK03）上进行微调，提升泛化能力。

实验结果

研究问题

• RQ1 来自身份分类与属性识别任务的知识是否能提升行人重识别性能？
• RQ2 来自不同数据分布的跨域知识迁移如何影响重识别准确率？
• RQ3 在LSTM中引入空间门控注意力机制是否能改善重识别的特征表示？
• RQ4 中级语义特征（属性）与高级分类特征在重识别中的相对贡献如何？
• RQ5 所提出的方法是否能在具有相似真实世界条件的未见数据集上实现泛化？

主要发现

• 所提方法在CUHK03基准上实现了78.3%的rank-1准确率，显著优于现有最先进方法。
• 细粒度掩码注意力的时空门控LSTM优于全局、局部和软注意力掩码，在所有测试掩码类型中表现最佳。
• 细粒度掩码注意力机制通过聚焦于保留更丰富空间细节的低层特征，提升了性能。
• 在包含9,000个身份的更大自标注数据集上进行训练，使rank-1准确率从Market1501上的74.8%提升至78.3%，证明了更多数据的优势。
• 该模型在未见数据集上泛化良好，在光照、姿态和视角多变的真实世界场景中表现出色。
• 消融实验确认，来自属性识别与身份分类任务的知识迁移均显著提升了重识别准确率。