[论文解读] Fast and Accurate Person Re-Identification with RMNet

Evgeny Izutov|arXiv (Cornell University)|Dec 6, 2018

Video Surveillance and Tracking Methods参考文献 6被引用 7

一句话总结

本文提出RMNet，一种用于快速且准确的行人重识别的轻量级CNN主干网络，结合优化的流形学习损失和一种新颖的轻量级头部结构，在CPU上实现高达923 FPS的推理速度，同时达到最先进（SOTA）的准确率。该方法在保持竞争性mAP和rank@1分数的同时，推理速度比现有模型快一个数量级以上。

ABSTRACT

In this paper we introduce a new neural network architecture designed to use in embedded vision applications. It merges the best working practices of network architectures like MobileNets and ResNets to our named RMNet architecture. We also focus on key moments of building mobile architectures to carry out in the limited computation budget. Additionally, to demonstrate the effectiveness of our architecture we evaluate the RMNet backbone on Person Re-identification task. The proposed approach is in top 3 of state of the art solutions on Market-1501 challenge, however our method significantly outperforms them by the inference speed.

研究动机与目标

• 设计一种面向消费级硬件上实时行人重识别任务的专用轻量级CNN架构。
• 通过联合设计主干网络与训练策略，解决模型准确率与推理速度之间的权衡问题。
• 在不依赖ResNet-50或多分支网络等重型架构的前提下，提升行人重识别性能。
• 证明针对特定任务的直接架构设计可超越来自不兼容来源的组件模块化组合。
• 通过在标准CPU上实现高效推理，支持每帧处理多个行人比较，实现真正的实时处理。

提出的方法

• 提出RMNet，一种专为移动设备和实时推理优化的轻量级CNN主干网络，替代标准主干如ResNet-50。
• 引入一种新型网络头部结构，在不增加参数量的前提下融合低层与高层监督信号。
• 采用多损失训练策略，包括AM-Softmax、Center、Push和GlobPush损失，以增强特征流形结构。
• 应用智能边缘（smart margins）和难样本挖掘（HSM）以提升泛化能力并增强对类别不平衡的鲁棒性。
• 在轻量级设置中使用ELU激活函数而非ReLU，以提升训练稳定性和性能。
• 采用灵活的样本挖掘策略，将多种损失信号整合为统一的排序准则，实现更优的优化。

实验结果

研究问题

• RQ1 轻量级、任务专用的CNN主干网络是否能在实现近SOTA准确率的同时，支持实时推理？
• RQ2 在不增加模型大小的前提下，结合流形学习损失（如Push、GlobPush）与智能边缘策略，在提升嵌入质量方面的有效性如何？
• RQ3 在轻量级模型中，激活函数选择（ELU vs ReLU）和参数共享等架构选择能在多大程度上提升性能？
• RQ4 单分支、单头部网络是否能在显著更快的速度下，超越多分支或特征聚合模型的准确率？
• RQ5 在Market-1501基准上，输入分辨率与推理速度之间的权衡如何影响模型性能？

主要发现

• 所提出的基于RMNet的模型在Market-1501数据集上达到92.4%的rank@1和82.5%的mAP，rank@1位列SOTA方法前三，mAP位列前二。
• 轻量级模型（0.81 MParams）在Intel Core i7-6700K CPU上实现923 FPS的推理速度，比所有SOTA模型快一个数量级以上。
• 采用更高分辨率（384×128）的模型将mAP提升至82.53%，rank@1提升至92.37%，表明分辨率扩展在几乎无速度损失下可显著提升性能。
• 使用智能边缘和HSM显著提升了mAP，增强了学习到的特征流形的有序性。
• 在训练后期禁用Dropout正则化带来显著的准确率提升，证实了在强正则化下模型容量有限。
• 在最强配置下（0.58 GFLOPs，0.81 MParams），模型达到93.1%的rank@1和91.1%的mAP，mAP超越MGN (RK)，且推理速度显著更快。