[论文解读] Deep Feature Learning with Relative Distance Comparison for Person Re-identification

Shengyong Ding, Liang Lin+2 more|arXiv (Cornell University)|Dec 11, 2015

Video Surveillance and Tracking Methods参考文献 17被引用 4

一句话总结

该论文提出了一种可扩展的深度特征学习框架，用于行人重识别，通过基于三元组的学习方法训练卷积神经网络（CNN），以最大化匹配与非匹配行人对之间的相对距离。通过采用L2距离度量优化相对距离，并引入高效的三元组生成与梯度传播方案，该方法将计算负载降低至仅与训练图像数量成比例，而非三元组数量，从而在基准数据集上实现了最先进（SOTA）的性能表现。

ABSTRACT

Identifying the same individual across different scenes is an important yet difficult task in intelligent video surveillance. Its main difficulty lies in how to preserve similarity of the same person against large appearance and structure variation while discriminating different individuals. In this paper, we present a scalable distance driven feature learning framework based on the deep neural network for person re-identification, and demonstrate its effectiveness to handle the existing challenges. Specifically, given the training images with the class labels (person IDs), we first produce a large number of triplet units, each of which contains three images, i.e. one person with a matched reference and a mismatched reference. Treating the units as the input, we build the convolutional neural network to generate the layered representations, and follow with the $L2$ distance metric. By means of parameter optimization, our framework tends to maximize the relative distance between the matched pair and the mismatched pair for each triplet unit. Moreover, a nontrivial issue arising with the framework is that the triplet organization cubically enlarges the number of training triplets, as one image can be involved into several triplet units. To overcome this problem, we develop an effective triplet generation scheme and an optimized gradient descent algorithm, making the computational load mainly depends on the number of original images instead of the number of triplets. On several challenging databases, our approach achieves very promising results and outperforms other state-of-the-art approaches.

研究动机与目标

• 解决在不同摄像头间存在显著外观与姿态变化时的行人重识别挑战。
• 通过聚焦于相对距离比较而非分类损失，改进特征表示学习。
• 降低基于三元组训练中三元组数量呈立方增长所带来的计算开销。
• 通过优化生成与传播机制，将计算成本与三元组数量解耦，实现高效且可扩展的训练。
• 在标准行人重识别基准数据集上实现最先进性能。

提出的方法

• 从训练图像中构建三元组，每个三元组包含一个查询图像、一个正样本（同一人）和一个负样本（不同人）图像。
• 训练深度卷积神经网络（CNN），以最小化查询图像与正样本之间的L2距离，同时最大化其与负样本之间的距离。
• 采用一种新颖的三元组生成方案，每轮迭代仅选择少量类别，从而限制每批次处理的图像数量。
• 提出一种扩展的反向传播算法，避免在一批三元组中重复计算多次出现的图像的梯度。
• 对最终的特征表示应用L2归一化，以稳定训练过程并提升收敛性。
• 使用小批量随机梯度下降（mini-batch stochastic gradient descent），结合一种损失函数，强制在三元组之间满足相对距离约束。

实验结果

研究问题

• RQ1 在基于三元组的深度学习框架中，通过最大化相对距离能否提升在大外观变化条件下的行人重识别性能？
• RQ2 当三元组数量随身份数呈立方增长时，如何降低基于三元组训练的计算成本？
• RQ3 是否可以通过限制每轮迭代中图像使用量的有选择性三元组生成策略，在不损失准确率的前提下提升训练效率？
• RQ4 在小样本场景下，特征归一化与数据增强在多大程度上能增强模型的泛化能力？
• RQ5 所提出的方法在标准行人重识别基准数据集上与现有最先进方法相比表现如何？

主要发现

• 所提方法在PRID2015数据集上实现了87.9%的top-1准确率，优于以往最先进方法。
• 在更具挑战性的VIPeR数据集上，模型达到87.2%的top-1准确率，显著优于PCCA和LF等方法。
• 在无数据增强的情况下，性能下降了33%，凸显了其在缓解小样本数据集过拟合问题中的关键作用。
• 对特征进行L2归一化使top-1准确率提升了25%，并将收敛时间从约7,000轮减少至约4,000轮。
• 所提三元组生成方案在4,000轮内达到最优性能，而随机选择策略则需20,000轮才能获得相近结果。
• 特征图可视化结果表明，浅层网络学习边缘与纹理特征，而深层网络则学习到更具判别性、身份特异性的表示。