[论文解读] Deep Feature Learning via Structured Graph Laplacian Embedding for Person Re-Identification

De Cheng, Yihong Gong+4 more|arXiv (Cornell University)|Jul 25, 2017

Video Surveillance and Tracking Methods参考文献 37被引用 6

一句话总结

该论文提出了一种结构化图拉普拉斯嵌入方法，将对比损失和三元组损失关系整合进完整的基于图的拉普拉斯框架中，实现与交叉熵损失的联合优化，从而提升行人重识别性能。该方法通过强制实现类内紧凑性和类间分离性，增强了特征的判别能力，在ResNet50、DGDNet和AlexNet等模型上于多个基准数据集上取得了最先进性能。

ABSTRACT

Learning the distance metric between pairs of examples is of great importance for visual recognition, especially for person re-identification (Re-Id). Recently, the contrastive and triplet loss are proposed to enhance the discriminative power of the deeply learned features, and have achieved remarkable success. As can be seen, either the contrastive or triplet loss is just one special case of the Euclidean distance relationships among these training samples. Therefore, we propose a structured graph Laplacian embedding algorithm, which can formulate all these structured distance relationships into the graph Laplacian form. The proposed method can take full advantages of the structured distance relationships among these training samples, with the constructed complete graph. Besides, this formulation makes our method easy-to-implement and super-effective. When embedding the proposed algorithm with the softmax loss for the CNN training, our method can obtain much more robust and discriminative deep features with inter-personal dispersion and intra-personal compactness, which is essential to person Re-Id. We illustrate the effectiveness of our proposed method on top of three popular networks, namely AlexNet, DGDNet and ResNet50, on recent four widely used Re-Id benchmark datasets. Our proposed method achieves state-of-the-art performances.

研究动机与目标

• 通过提升深度特征的判别能力，解决行人重识别中大外观和姿态变化的挑战。
• 通过在统一的图拉普拉斯框架中建模所有成对和三元组距离关系，克服传统对比损失和三元组损失的局限性。
• 通过与softmax损失联合优化，增强特征学习，实现类间分离性和类内紧凑性。
• 实现高效训练，无需复杂的数据重组或额外内存开销，与孪生网络或三元组网络不同。
• 在多种深度神经网络架构和基准数据集上展示该方法的有效性。

提出的方法

• 构建一个包含N个节点的完全图，其中每个节点代表一个训练批次中的特征向量。
• 根据对比损失或三元组损失函数中预定义的距离关系定义图中的边权重。
• 将结构化图拉普拉斯嵌入表述为正则化项，以捕捉批次中的全局聚类和距离结构。
• 在单一网络分支中将图拉普拉斯损失与标准的softmax交叉熵损失联合优化。
• 利用图拉普拉斯实现类内紧凑性和类间分离性，而无需数据增强或额外内存。
• 使用随机梯度下降端到端训练CNN，同时接收来自softmax损失和结构化图拉普拉斯损失的联合监督。

实验结果

研究问题

• RQ1 与孤立的对比损失或三元组损失相比，统一的图拉普拉斯公式是否能更好地捕捉训练样本之间的结构化距离关系？
• RQ2 与softmax损失联合优化图拉普拉斯损失是否能提升行人重识别中的特征判别能力？
• RQ3 在多个基准数据集上，该方法在rank-1准确率和mAP方面与最先进方法相比表现如何？
• RQ4 当应用于ResNet50、DGDNet和AlexNet等不同CNN架构时，该方法的影响是什么？
• RQ5 图拉普拉斯公式是否能轻松集成到标准CNN训练流程中，而无需复杂的数据重组或内存开销？

主要发现

• 所提方法在Market-1501、DukeMTMC、CUHK03和CUHK02数据集上均达到最先进性能，在ResNet50上于Market-1501上实现73.2%的rank-1准确率和97.2%的rank-10准确率。
• 在DGDNet模型上，该方法在Market-1501上实现84.7%的rank-1准确率、97.4%的rank-5准确率和98.9%的rank-10准确率，分别优于基线softmax损失2.3%、1.5%和0.9%。
• 在所有三种网络架构中，图拉普拉斯与softmax损失的联合学习始终优于单独使用任一损失的方法。
• t-SNE可视化显示，与基线方法相比，所提方法在类内紧凑性和类间可分性方面表现显著更优。
• 通过添加图拉普拉斯正则化，该方法减少了大型模型（如AlexNet和ResNet50）中的过拟合现象，尤其在参数量较大时效果更明显。
• 批次全局三元组损失（BGTL）优于批次全局对比损失（BGCL），其组合形式（BGCTL）在DGDNet上带来2%的性能提升，证实了结构化距离建模的优势。