[论文解读] Beyond Triplet Loss: Person Re-identification with Fine-grained Difference-aware Pairwise Loss

Yan Cheng, Guansong Pang+3 more|arXiv (Cornell University)|Sep 22, 2020

Video Surveillance and Tracking Methods参考文献 47被引用 19

一句话总结

本文提出了一种新颖的细粒度差异感知（FIDI）成对损失，用于行人重识别（ReID），该损失自适应地对小的外观差异应用指数惩罚，对大的差异应用有界惩罚，显著提升了细粒度区分的特征学习效果。FIDI损失在四个基准数据集上均优于三元组损失及其他最先进损失方法，实现了更高的mAP和R-1分数，同时提升了数据效率。

ABSTRACT

Person Re-IDentification (ReID) aims at re-identifying persons from different viewpoints across multiple cameras. Capturing the fine-grained appearance differences is often the key to accurate person ReID, because many identities can be differentiated only when looking into these fine-grained differences. However, most state-of-the-art person ReID approaches, typically driven by a triplet loss, fail to effectively learn the fine-grained features as they are focused more on differentiating large appearance differences. To address this issue, we introduce a novel pairwise loss function that enables ReID models to learn the fine-grained features by adaptively enforcing an exponential penalization on the images of small differences and a bounded penalization on the images of large differences. The proposed loss is generic and can be used as a plugin to replace the triplet loss to significantly enhance different types of state-of-the-art approaches. Experimental results on four benchmark datasets show that the proposed loss substantially outperforms a number of popular loss functions by large margins; and it also enables significantly improved data efficiency.

研究动机与目标

• 为解决三元组损失在行人重识别中难以捕捉细粒度外观差异的局限性。
• 开发一种能有效惩罚小的跨人与内人差异的损失函数，这些差异对于准确的ReID至关重要。
• 通过自适应惩罚学习更具判别性的表征，从而提升模型性能与数据效率。
• 设计一种通用的即插即用损失，可在不修改网络架构的前提下增强各种最先进ReID模型。

提出的方法

• 提出一种细粒度差异感知（FIDI）成对损失，对小的成对距离（表示细粒度差异）应用指数惩罚，对大的距离应用有界惩罚。
• 该损失函数设计为对小差异敏感，同时避免对大差异的过度惩罚，从而在所有尺度上平衡特征学习。
• FIDI损失被形式化为成对嵌入的可微函数，支持与标准深度学习框架进行端到端训练。
• 该损失与任何主干网络兼容，可作为即插即用组件替代现有ReID模型中的三元组损失。
• 通过交叉验证对超参数α（损失边界）和β（对距离的敏感度）进行调优，以在不同数据集上实现最佳性能。
• 该方法在行人ReID基准上进行了评估，并推广至车辆ReID任务，展示了良好的可迁移性。

实验结果

研究问题

• RQ1 一种自适应惩罚小外观差异的成对损失，是否能在行人ReID性能上超越三元组损失？
• RQ2 FIDI损失在复杂ReID场景中如何增强对细粒度区别的特征学习？
• RQ3 与三元组损失及其他最先进损失相比，FIDI损失在多大程度上提升了数据效率？
• RQ4 FIDI损失能否有效泛化至其他ReID任务，如车辆ReID？

主要发现

• 在车辆ReID数据集上，FIDI损失相较于Baseline2方法，mAP提升1.3%至2.6%，R-1提升0.6%至0.7%。
• 在CUHK03-L和CUHK03-D数据集上，FIDI损失使mAP相比基于三元组损失的模型提升超过2%。
• FIDI损失显著提升了数据效率，使模型在较少训练样本下仍能取得更好性能。
• 可视化结果表明，使用FIDI损失训练的模型即使在细粒度差异下也能正确对同一身份的图像进行排序，而基线模型则容易混淆外观相似的车辆。
• FIDI损失对超参数设置具有鲁棒性，最优性能在α=1.05和β=0.5时达到，但性能在一定参数范围内保持稳定。
• FIDI损失在车辆ReID任务中具有良好泛化能力，在VeRi-776和VehicleID数据集上优于多种最先进方法。