[论文解读] Beyond triplet loss: a deep quadruplet network for person re-identification

Weihua Chen, Xiaotang Chen+2 more|arXiv (Cornell University)|Apr 6, 2017

Video Surveillance and Tracking Methods参考文献 23被引用 114

一句话总结

引入 quadruplet loss 以取代 person re-identification 的 triplet loss，结合基于 margin 的在线困难负样本挖掘，提升泛化并在 CUHK03、CUHK01 与 VIPeR 数据集上达到最先进结果。

ABSTRACT

Person re-identification (ReID) is an important task in wide area video surveillance which focuses on identifying people across different cameras. Recently, deep learning networks with a triplet loss become a common framework for person ReID. However, the triplet loss pays main attentions on obtaining correct orders on the training set. It still suffers from a weaker generalization capability from the training set to the testing set, thus resulting in inferior performance. In this paper, we design a quadruplet loss, which can lead to the model output with a larger inter-class variation and a smaller intra-class variation compared to the triplet loss. As a result, our model has a better generalization ability and can achieve a higher performance on the testing set. In particular, a quadruplet deep network using a margin-based online hard negative mining is proposed based on the quadruplet loss for the person ReID. In extensive experiments, the proposed network outperforms most of the state-of-the-art algorithms on representative datasets which clearly demonstrates the effectiveness of our proposed method.

研究动机与目标

• 推动改进以提升 triplet loss 在面对未见测试身份时在 person ReID 的泛化能力。
• 提出一个 quadruplet loss，增加类间差异并减少类内差异。
• 开发一个带有基于 margin 的在线困难负样本挖掘的 quadruplet 深度网络。
• 提供将 quadruplet、triplet 与二元分类损失联系起来的理论分析。

提出的方法

• 将 triplet loss 定义并扩展为具有两个边距（alpha1 和 alpha2）的 quadruplet loss。
• 引入一个两项式损失：(i) 相同探测（same-probe）相对排序（强约束），(ii) 不同探测（different-probe）排序（较弱的辅助约束）。
• 通过一个带 softmax 归一化的两输出全连接层将学习到的距离归一化，使输出在 [0,1] 内。
• 使用基于 margin 的在线困难负样本挖掘，通过批次分布统计自适应边距。
• 给出用于 SGD 的梯度和训练规则，包括自适应边距 alpha1 和 alpha2。
• 比较 quadruplet、triplet 与二元/分类损失之间的关系以证明设计合理性。

实验结果

研究问题

• RQ1 相较于标准的 triplet loss，Quadruplet loss 是否能提高 ReID 中对未见身份的泛化能力？
• RQ2 引入第二个不同探测的约束是否能够增大类间变异并减少类内变异？
• RQ3 自适应、基于边距的在线困难负样本挖掘如何影响训练效率和最终性能？
• RQ4 在 ReID 中，quadruplet loss、triplet loss 与二元分类损失之间的理论关系是什么？
• RQ5 所提出的 quadruplet 网络是否在标准 ReID 基准数据集上达到最先进的结果？

主要发现

• 相较于 triplet loss，Quadruplet loss 在基准数据集上获得更小的类内距离和更大的类间距离。
• Quadruplet 网络在 CUHK03、CUHK01 和 VIPeR 的 single-shot CMC 指标上优于大多数最先进方法。
• 基于 margin 的在线困难负样本挖掘在 CUHK03 和 CUHK01 上提升了 rank-n 性能，但在不同数据集上效果有所不同。
• 该框架建立了 quadruplet loss 与二元分类损失之间的联系，解决了纯分类方法或仅基于 triplet 的方法的弱点。
• 实验表明在 quadruplet 训练下类内和类间距离分布趋于有利，表明更好的泛化能力。