[论文解读] FastReID: A Pytorch Toolbox for General Instance Re-identification

Lingxiao He, Xingyu Liao+4 more|arXiv (Cornell University)|Jun 4, 2020

Video Surveillance and Tracking Methods参考文献 44被引用 123

一句话总结

FastReID 提供一个用于一般实例再识别的模块化 PyTorch 工具箱，具备可扩展训练、丰富的评估指标和部署工具，在标准 ReID 基准上取得了出色的结果。

ABSTRACT

General Instance Re-identification is a very important task in the computer vision, which can be widely used in many practical applications, such as person/vehicle re-identification, face recognition, wildlife protection, commodity tracing, and snapshop, etc.. To meet the increasing application demand for general instance re-identification, we present FastReID as a widely used software system in JD AI Research. In FastReID, highly modular and extensible design makes it easy for the researcher to achieve new research ideas. Friendly manageable system configuration and engineering deployment functions allow practitioners to quickly deploy models into productions. We have implemented some state-of-the-art projects, including person re-id, partial re-id, cross-domain re-id and vehicle re-id, and plan to release these pre-trained models on multiple benchmark datasets. FastReID is by far the most general and high-performance toolbox that supports single and multiple GPU servers, you can reproduce our project results very easily and are very welcome to use it, the code and models are available at https://github.com/JDAI-CV/fast-reid.

研究动机与目标

• 为通用实例再识别构建一个统一、可扩展的库，以连接研究与生产需求。
• 提供模块化组件（骨干网络、聚合、头部、损失）以在不重写代码的情况下加速新想法。
• 提供全面的评估与部署支持（多GPU 训练、蒸馏、模型转换）。
• 为多任务 ReID 任务（行人、跨域、部分、车辆）提供最先进的预训练模型。
• 在常见基准上实现各方法之间的公平、可重复比较。

提出的方法

• 提出一个四模块流水线：图像预处理、骨干网络、聚合与头部。
• 实现多种骨干网（ResNet、ResNeXt、ResNeSt），具有注意力和 IBN 变体。
• 支持四种聚合方法（最大、平均、GeM、注意力池化）以及三种头部类型（BN 颈、线性、降维），并配合批量归一化。
• 采用多种损失函数（带标签平滑的交叉熵、ArcFace、Circle Loss、三元组损失）和训练技巧（学习率预热、骨干网络冻结、余弦学习率衰减）。
• 使用知识蒸馏（teacher-student、logit matching）以获得轻量化、高精度模型。
• 引入后处理技术（K-reciprocal 重排序、查询扩展）以及多种距离度量（欧几里得、余弦、DSR）。
• 提供模型转换工具（PyTorch 转 Caffe/TensorRT）及在生产环境部署模型的框架。

实验结果

研究问题

• RQ1 一个模块化的 PyTorch 工具箱是否能够支持通用实例再识别模型的快速开发与部署？
• RQ2 哪些骨干网络、池化方式和损失函数的组合在多种 ReID 任务（行人、跨域、部分、车辆）上都能取得强性能？
• RQ3 如何通过训练策略和蒸馏来在实现轻量化部署的同时提升准确性？
• RQ4 哪些评估与后处理工具最能反映 ReID 模型在实际部署中的性能？

主要发现

方法	Market1501 R1	Market1501 mAP	DukeMTMC R1	DukeMTMC mAP	MSMT17 R1	MSMT17 mAP
FastReID (ResNet101-ibn)	96.3	90.3	92.4	83.2	85.1	63.3
+ QE	96.5	94.4	93.4	90.1	87.9	76.9

• FastReID 在主要 ReID 基准（Market-1501、DukeMTMC、MSMT17）上显示出强劲性能，采用 ResNet101-IBN 骨干在各数据集上展现高的 rank-1/mAP。
• 将 QE（查询扩展）和知识蒸馏结合可提高准确性，在所述消融中实现了更高的 mAP 和 rank-1（例如 +QE 和蒸馏增益）。
• 该库提供除了 CMC 之外的丰富评估指标，包括 ROC 和 mINP，并支持详细的后处理以提升检索效果。
• FastReID 提供多任务的最先进预训练模型并支持模型转换为 Caffe 和 TensorRT，便于部署。
• 该框架在任务和域之间展现出强 transferability，能够在生产环境中进行实际部署。
• table_headers=['方法','Market1501 R1','Market1501 mAP','DukeMTMC R1','DukeMTMC mAP','MSMT17 R1','MSMT17 mAP']
• table_rows
• [["FastReID (ResNet101-ibn)","96.3","90.3","92.4","83.2","85.1","63.3"],["+ QE (FastReID 101-ibn)","96.5","94.4","93.4","90.1","87.9","76.9"]]