[论文解读] Attribute-aware Identity-hard Triplet Loss for Video-based Person Re-identification

Zhiyuan Chen, Annan Li+2 more|arXiv (Cornell University)|Jun 13, 2020

Video Surveillance and Tracking Methods参考文献 26被引用 8

一句话总结

本文提出属性感知身份难样本三元损失（AITL）和属性驱动时空注意力（ASTA）多任务框架，以解决视频行人重识别中的不同正样本间距离差异（DVDP）问题。通过利用属性感知度量学习与联合身份-属性建模，该方法降低了类内差异，提升了性能，使轻量化基线模型在MARS和DukeMTMC-VID数据集上超越了当前最先进模型。

ABSTRACT

Video-based person re-identification (Re-ID) is an important computer vision task. The batch-hard triplet loss frequently used in video-based person Re-ID suffers from the Distance Variance among Different Positives (DVDP) problem. In this paper, we address this issue by introducing a new metric learning method called Attribute-aware Identity-hard Triplet Loss (AITL), which reduces the intra-class variation among positive samples via calculating attribute distance. To achieve a complete model of video-based person Re-ID, a multi-task framework with Attribute-driven Spatio-Temporal Attention (ASTA) mechanism is also proposed. Extensive experiments on MARS and DukeMTMC-VID datasets shows that both the AITL and ASTA are very effective. Enhanced by them, even a simple light-weighted video-based person Re-ID baseline can outperform existing state-of-the-art approaches. The codes has been published on https://github.com/yuange250/Video-based-person-ReID-with-Attribute-information.

研究动机与目标

• 为解决批量难样本三元损失中的不同正样本间距离差异（DVDP）问题，该问题导致对姿态和外观变化敏感。
• 通过从属性识别中学习时空注意力，有效整合属性信息于视频行人重识别中。
• 构建统一的多任务框架，联合优化身份识别、属性预测与度量学习。
• 证明属性驱动注意力与AITL可显著提升重识别准确率，且无需复杂主干网络架构。

提出的方法

• 提出属性感知身份难样本三元损失（AITL），基于属性距离在同身份的正样本间构成三元组，以减少类内差异。
• 设计三流多任务网络，联合学习身份分类、属性预测与嵌入表示，以降低DVDP。
• 引入属性驱动时空注意力（ASTA）机制，从属性识别输出生成注意力图，以指导特征提取。
• 使用统一损失函数，联合身份、属性与AITL目标，实现端到端训练。
• 通过帧级属性识别生成空间与时间注意力，提升对遮挡与背景杂波的鲁棒性。
• 将ASTA模块应用于特征表示的优化，聚焦于由属性指导的判别性区域与时间片段。

实验结果

研究问题

• RQ1 属性感知度量学习能否有效降低视频Re-ID中不同正样本间的距离差异（DVDP）？
• RQ2 如何有效利用属性信息以引导视频Re-ID中的时空注意力？
• RQ3 在引入AITL与ASTA后，轻量化Re-ID模型能否实现SOTA性能？
• RQ4 属性驱动注意力的集成是否能提升跨数据集评估中的泛化能力？

主要发现

• 所提出的AITL与ASTA框架显著优于现有方法，轻量化基线在MARS数据集上达到84.4% mAP与88.2% R1，超越当前最先进水平。
• 在DukeMTMC-VID数据集上，该方法实现95.3% mAP与95.4% R1，即使每身份正样本有限，仍表现出强劲性能。
• 在跨数据集评估中，模型保持强鲁棒性：在MARS上训练、DukeMTMC-VID上测试时，mAP达51.3%，R1达53.0%，表明对领域偏移具有较强适应能力。
• 计算-性能权衡分析显示，该模型在准确率与效率之间达到最佳平衡，两项指标均优于其他基于注意力的方法。
• 消融实验验证了AITL与ASTA对性能提升的显著贡献，其中AITL在降低类内差异方面尤为有效。
• 联合学习提升了属性识别质量，空间-时间注意力有助于缓解遮挡与低质量帧带来的问题。