[论文解读] In Defense of the Triplet Loss for Person Re-Identification

Alexander Hermans, Lucas Beyer+1 more|arXiv (Cornell University)|Mar 22, 2017

Video Surveillance and Tracking Methods参考文献 13被引用 2,885

一句话总结

本文提出端到端的指标学习, 使用三元组损失的变体（批量-hard与软边界），并展示在 Market-1501、MARS 和 CUHK03 上达到最新效果，包括从零开始训练。

ABSTRACT

In the past few years, the field of computer vision has gone through a revolution fueled mainly by the advent of large datasets and the adoption of deep convolutional neural networks for end-to-end learning. The person re-identification subfield is no exception to this. Unfortunately, a prevailing belief in the community seems to be that the triplet loss is inferior to using surrogate losses (classification, verification) followed by a separate metric learning step. We show that, for models trained from scratch as well as pretrained ones, using a variant of the triplet loss to perform end-to-end deep metric learning outperforms most other published methods by a large margin.

研究动机与目标

• 激发重新评估用于行人重识别（ReID）的三元组损失，使其与代理损失具有竞争力。
• 提出批量-hard三元组损失的变体，消除对昂贵离线-hard负样本挖掘的需求。
• 展示对预训练网络和从零开始训练的网络的端到端训练有效性。
• 证明一个设计良好的三元组损失在主要ReID数据集上可以超越许多公开的方法。

提出的方法

• 评述并给出度量嵌入损失的背景（包括LLMNN和三元组损失）。
• 引入 Batch Hard（LBH）和 Batch All（LBA）公式；强调在小批量内进行难样本挖掘。
• 提出批量-hard损失的软边界版本以提高稳定性。
• 在基于 MARS 的验证集上比较多种三元组形式（原始、Lifted、软边界变体）。
• 在嵌入空间中使用欧氏距离并避免嵌入归一化。
• 在 Market-1501、MARS 和 CUHK03 上评估，使用预训练（TriNet）和从零开始训练的网络（LuNet）。

实验结果

研究问题

• RQ1 端到端三元组损失度量学习是否能在行人重识别中超越需要额外度量学习步骤的代理损失？
• RQ2 在小批量 PK 内的批量-hard挖掘是否可以消除昂贵的离线-hard负样本挖掘的需要？
• RQ3 不同的三元组损失公式（批量-hard/软边界、批量-all、Lifted）在 ReID 性能上的比较？
• RQ4 使用三元组损失时，预训练与从零开始训练对 ReID 性能的影响是什么？
• RQ5 在稳定且强大的 ReID 嵌入中，是否更偏好无边界或软边界的形式？

主要发现

• 带有软边界的批量-hard三元组损失在 Market-1501、MARS 上达到最新结果，在 CUHK03 上结合测试时增强表现具有竞争力。
• 批量-hard 在他们的实验中始终优于 batch-all 和 vanilla 三元组形式，同时消除了离线硬负样本挖掘的开销。
• 软边界变体进一步提升结果并减少训练不稳定性。
• 预训练网络（TriNet）取得最强结果，但经过良好设计的从零开始训练的网络（LuNet）也具竞争力，显示端到端三元组学习在不依赖大型预训练骨干网络的情况下也能工作。
• 使用他们的批量-hard三元组损失和端到端嵌入学习，在带度量学习的分类损失基线（IDE）之上取得显著提升，强调了三元组方法的有效性。
• 即使在测试时进行增强与额外干扰图像的情况下，性能提升仍然存在。