[论文解读] Hierarchical Invariant Feature Learning with Marginalization for Person Re-Identification

Rahul Rama Varior, Gang Wang|arXiv (Cornell University)|Nov 30, 2015

Video Surveillance and Tracking Methods参考文献 41被引用 3

一句话总结

本文提出了一种分层不变特征学习框架，结合边缘化机制，用于行人重识别，利用带标签的图像对在核空间中学习对姿态和光照不变的特征。通过将边缘化整合到SVM度量学习中，该方法在VIPeR、CUHK01、CAVIAR4REID和iLIDS数据集上实现了最先进性能，且无需显式数据增强，显著提升了小样本数据集上的泛化能力。

ABSTRACT

This paper addresses the problem of matching pedestrians across multiple camera views, known as person re-identification. Variations in lighting conditions, environment and pose changes across camera views make re-identification a challenging problem. Previous methods address these challenges by designing specific features or by learning a distance function. We propose a hierarchical feature learning framework that learns invariant representations from labeled image pairs. A mapping is learned such that the extracted features are invariant for images belonging to same individual across views. To learn robust representations and to achieve better generalization to unseen data, the system has to be trained with a large amount of data. Critically, most of the person re-identification datasets are small. Manually augmenting the dataset by partial corruption of input data introduces additional computational burden as it requires several training epochs to converge. We propose a hierarchical network which incorporates a marginalization technique that can reap the benefits of training on large datasets without explicit augmentation. We compare our approach with several baseline algorithms as well as popular linear and non-linear metric learning algorithms and demonstrate improved performance on challenging publicly available datasets, VIPeR, CUHK01, CAVIAR4REID and iLIDS. Our approach also achieves the stateof-the-art results on these datasets.

研究动机与目标

• 解决在光照、姿态和环境条件变化下行人重识别的挑战。
• 通过实现从有限数据中有效泛化，克服行人重识别中小样本带标签数据集的局限性。
• 开发一种特征学习框架，利用带标签的图像对捕捉跨摄像头视图的不变表示。
• 将边缘化机制整合到度量学习中，隐式模拟在大规模增强数据集上训练的效果，而无需显式的数据污染。
• 在基准数据集上实现最先进性能，同时提升鲁棒性和泛化能力。

提出的方法

• 从图像中提取局部特征，并使用非线性核函数将其映射到核空间。
• 在核空间中学习线性变换，以对匹配图像对中对应部分的不变性进行强制约束。
• 通过拼接边缘化后的局部特征，构建全局图像表征。
• 通过引入边缘化机制改进SVM度量学习（SVMML），以隐式处理噪声或受损输入。
• 将边缘化后的特征作为输入输入到度量学习框架中，以提升测试数据上的分类性能。
• 使用带标签的图像对端到端训练分层网络，以优化人与人之间的相似性及人内部的一致性。

实验结果

研究问题

• RQ1 分层特征学习框架能否有效学习跨摄像头视图的不变表示，以实现行人重识别？
• RQ2 在训练数据有限的情况下，度量学习中的边缘化机制如何提升泛化能力？
• RQ3 将基于核的特征映射与边缘化度量学习相结合，是否能在标准基准上超越现有最先进方法？
• RQ4 所提出的框架在多大程度上降低了对姿态、光照和环境变化的敏感性？
• RQ5 边缘化技术是否能在不增加计算成本的前提下，模拟数据增强的益处？

主要发现

• 在VIPeR数据集上，该方法实现了47.9%的Rank-1准确率，超越了所有先前的最先进方法。
• 在CAVIAR4REID数据集上，当与kLFDA结合时，该方法实现了45.1%的Rank-1准确率，优于除MFA外的所有其他方法。
• 在iLIDS数据集上，当与kLFDA结合时，该方法实现了47.7%的Rank-1准确率，在更高排名中位列第二。
• 在CUHK01数据集上，当与kLFDA结合时，该方法实现了39.5%的Rank-1准确率，优于所有基线方法和现有方法。
• 边缘化技术显著提升了泛化能力，尤其是在小样本数据集上，通过隐式模拟数据增强实现。
• 该框架表现出对姿态和光照变化的强鲁棒性，这在所有基准数据集上的一致性能提升中得到验证。