[论文解读] Constrained Deep Metric Learning for Person Re-identification

Hailin Shi, Xiangyu Zhu+4 more|arXiv (Cornell University)|Nov 24, 2015

Video Surveillance and Tracking Methods参考文献 18被引用 31

一句话总结

本文提出了一种用于行人重识别的约束深度度量学习方法，引入了带有权重约束的马氏距离度量以提升泛化能力，并提出了一种新颖的中等正样本挖掘策略，以缓解由极端类内样本对引起的过拟合问题。该方法在CUHK03、CUHK01和VIPeR数据集上均取得了最先进性能，在CUHK01上的rank-1准确率为87%，在VIPeR上的rank-1准确率为40.91%。

ABSTRACT

Person re-identification aims to re-identify the probe image from a given set of images under different camera views. It is challenging due to large variations of pose, illumination, occlusion and camera view. Since the convolutional neural networks (CNN) have excellent capability of feature extraction, certain deep learning methods have been recently applied in person re-identification. However, in person re-identification, the deep networks often suffer from the over-fitting problem. In this paper, we propose a novel CNN-based method to learn a discriminative metric with good robustness to the over-fitting problem in person re-identification. Firstly, a novel deep architecture is built where the Mahalanobis metric is learned with a weight constraint. This weight constraint is used to regularize the learning, so that the learned metric has a better generalization ability. Secondly, we find that the selection of intra-class sample pairs is crucial for learning but has received little attention. To cope with the large intra-class variations in pedestrian images, we propose a novel training strategy named moderate positive mining to prevent the training process from over-fitting to the extreme samples in intra-class pairs. Experiments show that our approach significantly outperforms state-of-the-art methods on several benchmarks of person re-identification.

研究动机与目标

• 解决由于训练数据有限而导致的行人重识别中深度度量学习的过拟合问题。
• 通过在马氏距离度量层上引入权重约束，提升深度度量学习的泛化能力。
• 重新评估正样本选择在训练中的作用，认为极端类内样本对会损害泛化性能。
• 提出一种新的训练策略——中等正样本挖掘，用于选择具有代表性的正样本对，避免对异常值的过拟合。
• 在多个标准行人重识别基准上实现最先进性能。

提出的方法

• 将马氏距离度量层集成到基于CNN的深度神经网络中，并通过权重约束对度量权重进行正则化，以增强泛化能力。
• 使用反向传播联合训练特征提取器与度量层，实现判别性特征与鲁棒度量的端到端学习。
• 提出中等正样本挖掘：一种动态采样策略，通过选择相似度适中的类内样本对来避免对极端正样本的过拟合。
• 将中等正样本挖掘与难负样本挖掘相结合，以平衡训练损失并提升模型鲁棒性。
• 在Market1501和CUHK03上进行预训练，随后在目标数据集（CUHK01、VIPeR）上进行微调，以提升特征迁移能力。
• 在VIPeR上训练时通过随机平移进行数据增强，以提升训练多样性。

实验结果

研究问题

• RQ1 在马氏距离度量层上应用权重约束对行人重识别中的泛化能力有何影响？
• RQ2 类内正样本对的选择对模型过拟合与性能有何影响？
• RQ3 中等正样本挖掘策略是否能在深度度量学习中优于标准的难正样本挖掘？
• RQ4 CNN特征与约束马氏度量的联合学习是否能提升在标准基准上的性能？
• RQ5 在低数据场景下（如小规模VIPeR数据集）该方法表现如何？

主要发现

• 所提方法在CUHK01上的rank-1识别率达到了87%，显著优于之前最先进方法IDLA（65%）。
• 即使仅在CUHK03上预训练并在CUHK01上微调，该方法仍能达到82.3%的rank-1准确率，超越IDLA在相同设置下的表现。
• 在具有挑战性的VIPeR数据集上，该方法实现了40.91%的rank-1识别率，是目前报告的深度学习方法中的最高水平。
• 消融实验表明，权重约束显著提升了泛化能力，最优性能出现在λ = 10⁻⁴时。
• 失败分析表明，真实正样本与颜色相似的负样本之间存在颜色不一致问题，尤其在暗光或低对比度图像中是主要挑战。
• 中等正样本挖掘策略通过避免极端类内样本对的干扰，有效减少了过拟合，并提升了模型性能。