[论文解读] A Multi-task Deep Network for Person Re-identification

Weihua Chen, Xiaotang Chen+2 more|arXiv (Cornell University)|Jul 19, 2016

Video Surveillance and Tracking Methods参考文献 27被引用 12

一句话总结

该论文提出了一种多任务深度网络（MTDnet），通过联合优化二值分类损失和排序损失，实现行人重识别的性能显著提升，优于单一损失方法。该方法在多个基准测试中达到最先进水平，包括在CUHK03数据集上实现74.68%的SOTA rank-1准确率，并通过跨域架构结合来自大规模源数据集的知识迁移，进一步提升了小样本数据的泛化能力。

ABSTRACT

Person re-identification (ReID) focuses on identifying people across different scenes in video surveillance, which is usually formulated as a binary classification task or a ranking task in current person ReID approaches. In this paper, we take both tasks into account and propose a multi-task deep network (MTDnet) that makes use of their own advantages and jointly optimize the two tasks simultaneously for person ReID. To the best of our knowledge, we are the first to integrate both tasks in one network to solve the person ReID. We show that our proposed architecture significantly boosts the performance. Furthermore, deep architecture in general requires a sufficient dataset for training, which is usually not met in person ReID. To cope with this situation, we further extend the MTDnet and propose a cross-domain architecture that is capable of using an auxiliary set to assist training on small target sets. In the experiments, our approach outperforms most of existing person ReID algorithms on representative datasets including CUHK03, CUHK01, VIPeR, iLIDS and PRID2011, which clearly demonstrates the effectiveness of the proposed approach.

研究动机与目标

• 为解决仅依赖二值分类损失或排序损失在行人重识别中可能带来的局限性，这些损失因优化目标冲突而导致特征学习不充分。
• 将分类与排序任务整合到单一深度网络中，以利用其互补优势，提升特征表示能力。
• 通过引入跨域架构实现知识迁移，提升在小规模行人ReID数据集上的性能，解决训练数据不足的问题。
• 证明在统一网络架构中联合优化多个损失函数，相比独立训练或分数级融合，能获得更优性能。

提出的方法

• MTDnet架构在深度卷积网络的不同层上联合优化二值分类损失与三元组排序损失，实现判别性特征与相对距离约束的同步学习。
• 分类损失应用于最后的全连接层，以促进正负样本对的正确分类；排序损失则应用于早期卷积层，以强制实现相对距离的有序排列。
• 提出一种跨域架构，利用大规模源数据集（如CUHK03）预训练的模型初始化源域与目标域网络，实现知识向小目标数据集的迁移。
• 训练过程中，冻结源域网络，仅对目标域网络使用联合多任务损失进行微调，推理时仅使用目标域网络。
• 采用端到端反向传播训练网络，结合损失函数以平衡分类与排序目标。
• 在五个标准ReID数据集（CUHK03、CUHK01、VIPeR、iLIDS和PRID2011）上进行评估，性能通过rank-1准确率与CMC曲线衡量。

实验结果

研究问题

• RQ1 在单一深度网络中联合优化分类与排序损失，是否能相比单独使用任一损失提升行人重识别性能？
• RQ2 将两类任务整合是否能缓解二值分类损失的局限性，例如更倾向于低误分类率而非正确排序结果的模型？
• RQ3 跨域架构能否有效从大规模源数据集（如CUHK03）迁移知识，以提升小目标数据集在行人重识别中的性能？
• RQ4 在多种数据集上，所提出的多任务网络在rank-1准确率与CMC性能方面，相比SOTA方法表现如何？

主要发现

• 所提出的多任务网络（MTDnet）在CUHK03数据集上实现了74.68%的rank-1准确率，优于比较中列出的所有其他方法，包括SOTA方法。
• 在四个小数据集（CUHK01、VIPeR、iLIDS、PRID2011）上，MTDnet始终优于仅使用分类损失或排序损失训练的单任务基线模型。
• 跨域架构（MTDnet-cross）相比标准微调方法（MTDnet），在小数据集上显著提升了性能，证明了来自大规模源域的知识迁移的有效性。
• MTDnet-cross的性能优于简单的数据增强基线（MTDnet-aug），后者通过混合源与目标数据实现，表明直接混合数据会损害泛化能力。
• 消融实验确认，最终层的分类损失显著提升了性能，因为MTDnet（同时包含两类损失）相比MTDtrp（仅排序损失）表现大幅领先。
• 结果表明，在单一网络中联合优化两类损失比分数级融合或独立训练更有效，证实了两类任务之间的互补性。