[论文解读] Uncertainty-Aware Multi-Shot Knowledge Distillation for Image-Based Object Re-Identification

Xin Jin, Cuiling Lan+2 more|arXiv (Cornell University)|Jan 15, 2020

Video Surveillance and Tracking Methods参考文献 38被引用 5

一句话总结

本文提出了一种不确定性感知的多张图教师-学生（UMTS）框架，通过利用同一身份的多张图像来提升单图重识别性能。通过建模与数据相关的异方差不确定性，该方法将多张图教师网络中的综合特征蒸馏到单图学生网络中，在不增加推理成本的前提下，在行人和车辆重识别基准上实现了最先进性能。

ABSTRACT

Object re-identification (re-id) aims to identify a specific object across times or camera views, with the person re-id and vehicle re-id as the most widely studied applications. Re-id is challenging because of the variations in viewpoints, (human) poses, and occlusions. Multi-shots of the same object can cover diverse viewpoints/poses and thus provide more comprehensive information. In this paper, we propose exploiting the multi-shots of the same identity to guide the feature learning of each individual image. Specifically, we design an Uncertainty-aware Multi-shot Teacher-Student (UMTS) Network. It consists of a teacher network (T-net) that learns the comprehensive features from multiple images of the same object, and a student network (S-net) that takes a single image as input. In particular, we take into account the data dependent heteroscedastic uncertainty for effectively transferring the knowledge from the T-net to S-net. To the best of our knowledge, we are the first to make use of multi-shots of an object in a teacher-student learning manner for effectively boosting the single image based re-id. We validate the effectiveness of our approach on the popular vehicle re-id and person re-id datasets. In inference, the S-net alone significantly outperforms the baselines and achieves the state-of-the-art performance.

研究动机与目标

• 解决图像重识别中视角、姿态和遮挡带来的大范围变化挑战。
• 利用同一身份的多张图提供比单张图像更全面的视觉信息。
• 开发一种有效将多张图知识迁移至单图重识别模型的知识蒸馏框架。
• 将与数据相关的异方差不确定性融入知识蒸馏，以提升特征学习效果。
• 在不增加推理复杂度的前提下实现最先进性能。

提出的方法

• UMTS框架由一个教师网络（T-net）组成，用于处理同一身份的K张多张图，以学习综合特征。
• 学生网络（S-net）通过不确定性感知知识蒸馏损失（UA-KDL）来模仿T-net的输出。
• UA-KDL显式建模随输入图像质量与可见性而变化的异方差不确定性，实现自适应知识迁移。
• 不确定性按批次估计，并用于加权蒸馏损失，使高质量、信息丰富的图像提供更可靠的监督。
• 损失在神经网络的多个阶段/层上应用，以在不同语义层级上正则化特征学习。
• 推理阶段仅使用S-net，保持效率并兼容标准重识别流程。

实验结果

研究问题

• RQ1 能否有效利用同一身份的多张图来提升单图重识别性能？
• RQ2 如何建模多张图输入中的不确定性以提升知识蒸馏效率？
• RQ3 将与数据相关的异方差不确定性纳入是否能带来更好的重识别特征学习？
• RQ4 使用多张图数据的教师-学生框架能否在不增加推理成本的前提下实现最先进性能？
• RQ5 所提方法在大规模基准上与现有重识别方法相比表现如何？

主要发现

• 在大规模VERI-Wild车辆重识别数据集上，UMTS在小规模集上达到95.8% mAP，优于第二名方法4.0%；在中等规模集上领先5.0%；在大规模集上领先4.5%。
• 在CUHK03（标注）行人重识别数据集上，UMTS达到80.7% Rank-1和75.5% mAP，mAP相比ResNet-50基线提升7.2%。
• 当使用OSNet作为主干网络时，UMTS在CUHK03（检测）上达到78.6% Rank-1和74.1% mAP，mAP相比基线提升6.3%。
• 可视化结果表明，由多张图知识引导的学生网络关注到更多判别性区域（如鞋子、包袋、检查标签等），优于基线模型。
• 不确定性图显示，遮挡或低质量图像的不确定性更高，证实了模型在蒸馏过程中能自适应地加权输入。
• 消融实验表明，多张图知识蒸馏与不确定性感知损失对性能提升均不可或缺。