[论文解读] Learning to rank in person re-identification with metric ensembles

Sakrapee Paisitkriangkrai, Chunhua Shen+1 more|arXiv (Cornell University)|Mar 5, 2015

Video Surveillance and Tracking Methods参考文献 7被引用 55

一句话总结

本文提出一种结构化学习方法，将多种手工设计与深度视觉特征整合到集成度量系统中，用于行人重识别。通过同时优化相对排序（通过三元组损失）和top-k识别准确率，该方法实现了最先进性能，在CUHK03数据集上将rank-1准确率提升高达41个百分点（从21%提升至62.1%）。

ABSTRACT

We propose an effective structured learning based approach to the problem of person re-identification which outperforms the current state-of-the-art on most benchmark data sets evaluated. Our framework is built on the basis of multiple low-level hand-crafted and high-level visual features. We then formulate two optimization algorithms, which directly optimize evaluation measures commonly used in person re-identification, also known as the Cumulative Matching Characteristic (CMC) curve. Our new approach is practical to many real-world surveillance applications as the re-identification performance can be concentrated in the range of most practical importance. The combination of these factors leads to a person re-identification system which outperforms most existing algorithms. More importantly, we advance state-of-the-art results on person re-identification by improving the rank-$1$ recognition rates from $40\%$ to $50\%$ on the iLIDS benchmark, $16\%$ to $18\%$ on the PRID2011 benchmark, $43\%$ to $46\%$ on the VIPeR benchmark, $34\%$ to $53\%$ on the CUHK01 benchmark and $21\%$ to $62\%$ on the CUHK03 benchmark.

研究动机与目标

• 解决监控系统中因显著外观差异、姿态变化和光照差异带来的行人重识别挑战。
• 通过学习不同数据集下的最优特征权重，克服度量集成中固定权重融合的局限性。
• 通过聚焦top-k检索（例如k < 10）来提升实际应用中的重识别性能，这与真实操作人员的行为一致。
• 构建一个灵活的框架，可与线性和非线性度量学习方法兼容。
• 通过结构化学习整合多样化视觉特征，在多个基准数据集上实现最先进性能。

提出的方法

• 利用多种低级和高级视觉特征（包括颜色直方图、LBP、SIFT和纹理特征）构建基础度量的集成。
• 采用两种结构化学习目标优化特征权重：(1) 基于三元组的相对距离最大化，以提升排序顺序；(2) 针对小k值（例如k=1至10）的top-k识别率最大化。
• 应用切平面优化方法，高效求解基于top-k识别率的结构化学习问题。
• 将样本间距离归一化至[0,1]区间，以确保不同基于特征的距离函数具有统一尺度。
• 采用加权平均基础度量的方法，其中权重通过优化学习获得，而非预先定义。
• 将集成框架与现有度量学习技术结合，支持与线性及非线性模型的兼容。

实验结果

研究问题

• RQ1 基于学习的多视觉特征融合是否能超越固定权重集成方法，进一步提升行人重识别性能？
• RQ2 优化top-k识别（例如rank-1至rank-10）是否相比优化整体CMC形状，具有更好的实际应用价值？
• RQ3 与均匀或启发式权重分配相比，基于三元组和top-k目标的结构化学习在度量集成中表现如何？
• RQ4 度量集成学习在iLIDS、VIPeR和CUHK03等挑战性基准数据集上，能将rank-1准确率提升至何种程度？
• RQ5 所提出的框架是否足够灵活，可与现有度量学习算法结合而不损害性能？

主要发现

• 在iLIDS上，该方法实现50.3%的rank-1识别率，相比之前工作的40.3%有所提升。
• 在PRID2011上，该方法实现17.9%的rank-1准确率，高于此前最优方法的16.0%。
• 在VIPeR上，rank-1准确率达到45.9%，优于之前最先进方法的43.4%。
• 在CUHK01上，该方法实现53.4%的rank-1准确率，显著优于之前最佳的34.3%。
• 在CUHK03上，该方法实现62.1%的rank-1准确率，较之前最佳的20.7%有显著提升。
• CMC${}^\text{top}$优化在低召回率下（k ≤ 10）优于基线均匀加权方法，而两者在高召回率下（k ≥ 50）趋于收敛。