[论文解读] Adaptive Sparse Pairwise Loss for Object Re-Identification

Xiaofang Zhou, Yu-Jie Zhong+3 more|arXiv (Cornell University)|Mar 31, 2023

Remote-Sensing Image Classification被引用 6

一句话总结

该论文提出了一种新型度量学习框架——自适应稀疏成对（AdaSP）损失，用于行人与车辆重识别（ReID），通过每类仅选择最具信息量的正负样本对，避免因类内差异过大而引入有害的正样本对。通过采用自适应加权的最不困难正样本挖掘策略，AdaSP在多个ReID基准上实现了最先进性能，在MSMT17上mAP提升达4.9%，在VERI-WILD上提升达4%。

ABSTRACT

Object re-identification (ReID) aims to find instances with the same identity as the given probe from a large gallery. Pairwise losses play an important role in training a strong ReID network. Existing pairwise losses densely exploit each instance as an anchor and sample its triplets in a mini-batch. This dense sampling mechanism inevitably introduces positive pairs that share few visual similarities, which can be harmful to the training. To address this problem, we propose a novel loss paradigm termed Sparse Pairwise (SP) loss that only leverages few appropriate pairs for each class in a mini-batch, and empirically demonstrate that it is sufficient for the ReID tasks. Based on the proposed loss framework, we propose an adaptive positive mining strategy that can dynamically adapt to diverse intra-class variations. Extensive experiments show that SP loss and its adaptive variant AdaSP loss outperform other pairwise losses, and achieve state-of-the-art performance across several ReID benchmarks. Code is available at https://github.com/Astaxanthin/AdaSP.

研究动机与目标

• 为解决ReID训练中密集成对采样引入的有害正样本对问题，此类问题可能因类内差异过大而陷入不良局部极小值。
• 减少对密集实例级锚点的依赖，以降低成对损失的计算成本，并避免引入平凡或误导性样本对。
• 设计一种稀疏但高效的成对损失框架，实现在每类中仅使用最少但最优的样本对，同时保持高性能。
• 探究正样本挖掘策略（特别是最不困难样本对）在类内差异变化条件下的度量学习影响。
• 设计一种自适应机制，根据每个小批量中类内差异水平动态调整不同正样本挖掘策略的权重。

提出的方法

• 提出一种稀疏成对（SP）损失框架，将每类视为一个整体单位，每类仅选择一个代表性正样本对和一个负样本对，从而消除对密集实例级锚点的依赖。
• 引入一种最不困难正样本挖掘策略，选择类内距离最小（即视觉上最相似）的样本对，该策略在遮挡和光照变化等大类内差异下更具鲁棒性。
• 设计一种自适应机制AdaSP，根据每个小批量中类内差异水平动态重加权最不困难与最困难正样本挖掘策略，形成动态类内超球体。
• 采用温度缩放的交叉熵损失进行样本对选择，并将SP损失与身份分类损失结合，通过可学习权重λ平衡两者。
• 利用几何洞察：最困难正样本对定义了最大的类内超球体半径，对异常值过于敏感；而最不困难样本对定义了最小半径，更能代表典型的类内相似性。
• 在小批量设置下应用损失函数，即对每个类别，模型利用特征嵌入识别最具信息量的正负样本对，仅在这些选定样本对上计算度量损失。

实验结果

研究问题

• RQ1 仅使用每类一个正样本对和一个负样本对的稀疏成对损失，能否在性能上与密集成对损失相媲美？
• RQ2 在类内差异较大的情况下，最不困难正样本对（即类内距离最小的样本对）是否比最困难样本对更有效于度量学习？
• RQ3 结合最不困难与最困难正样本挖掘策略的自适应机制，能否提升在ReID数据集中类内差异水平多样的场景下的鲁棒性？
• RQ4 所提出的AdaSP损失对超参数（如损失权重λ和温度τ）的敏感度如何？其最优取值是什么？
• RQ5 在标准评估协议下，所提出的损失是否在行人与车辆ReID基准上均优于最先进方法？

主要发现

• 在384×128输入分辨率下，AdaSP在MSMT17上达到64.7的mAP新SOTA，较之前SOTA方法Nformer提升4.9%。
• 在CUHK03-Dataset上，AdaSP达到78.0 mAP，较相同输入尺寸下的SOTA方法Nformer高出3.3%。
• 在大规模VERI-WILD车辆ReID基准上，AdaSP在所有测试集上mAP均较HRC和UFDN高出至少4%。
• 在MSMT17上最优超参数为λ = 0.1和τ = 0.04，在VeRi-776上为λ = 0.5和τ = 0.05，且在λ值的广泛范围内性能保持稳定。
• 消融实验证实，在类内差异较大（尤其是遮挡或低光照场景）时，最不困难正样本挖掘策略比硬挖掘更有效。
• AdaSP中的自适应机制始终优于固定挖掘策略，证明其能根据每个小批量中类内差异水平动态调整。