[论文解读] Decoupled and Memory-Reinforced Networks: Towards Effective Feature Learning for One-Step Person Search

Chuchu Han, Zhedong Zheng+3 more|arXiv (Cornell University)|Feb 22, 2021

Video Surveillance and Tracking Methods参考文献 23被引用 5

一句话总结

该论文提出DMRNet，一种解耦且基于记忆增强的单阶段行人检索框架，通过将行人检测与重识别任务分离，减少优化冲突。通过使用具有任务特定分支的单阶段检测器以及基于慢速移动平均的记忆库进行对比特征学习，DMRNet在CUHK-SYSU数据集上达到93.2%的mAP，在PRW数据集上达到46.9%的mAP，优于所有现有的单阶段方法。

ABSTRACT

The goal of person search is to localize and match query persons from scene images. For high efficiency, one-step methods have been developed to jointly handle the pedestrian detection and identification sub-tasks using a single network. There are two major challenges in the current one-step approaches. One is the mutual interference between the optimization objectives of multiple sub-tasks. The other is the sub-optimal identification feature learning caused by small batch size when end-to-end training. To overcome these problems, we propose a decoupled and memory-reinforced network (DMRNet). Specifically, to reconcile the conflicts of multiple objectives, we simplify the standard tightly coupled pipelines and establish a deeply decoupled multi-task learning framework. Further, we build a memory-reinforced mechanism to boost the identification feature learning. By queuing the identification features of recently accessed instances into a memory bank, the mechanism augments the similarity pair construction for pairwise metric learning. For better encoding consistency of the stored features, a slow-moving average of the network is applied for extracting these features. In this way, the dual networks reinforce each other and converge to robust solution states. Experimentally, the proposed method obtains 93.2% and 46.9% mAP on CUHK-SYSU and PRW datasets, which exceeds all the existing one-step methods.

研究动机与目标

• 为解决单阶段行人检索中检测与重识别目标之间的相互干扰问题。
• 克服端到端训练过程中因小批量导致的识别特征学习次优问题。
• 通过一致的记忆增强对比学习机制提升特征判别能力。
• 设计一种更简单、高效且可训练的单阶段框架，无需依赖两阶段流水线。

提出的方法

• 通过从特征金字塔网络（FPN）层分支出任务特定的头部，实现检测与重识别的解耦，仅将RoI特征隔离至重识别子网络。
• 采用队列式记忆库存储近期访问实例的特征嵌入，以增强成对度量学习。
• 利用网络的慢速移动平均确保记忆库更新时的特征编码一致性，稳定表示学习。
• 利用记忆库挖掘有信息量的正负样本对，提升重识别的对比学习效果。
• 该方法基于RetinaNet的单阶段检测器构建，支持高效端到端训练与推理。
• 主网络与动量平均网络相互促进，实现稳健解的收敛。

实验结果

研究问题

• RQ1 在单阶段框架中解耦检测与重识别子任务是否能改善优化与性能？
• RQ2 在小批量约束下，使用具有一致编码特征的记忆库是否能增强度量学习？
• RQ3 使用慢速移动平均进行记忆特征编码是否能带来更稳定且更具判别性的表征？
• RQ4 简化且解耦的单阶段设计是否能超越现有两阶段与单阶段方法在行人检索中的表现？

主要发现

• DMRNet在CUHK-SYSU数据集上达到93.2%的mAP，超越所有现有单阶段方法，创下新的最先进水平。
• 在PRW数据集上，DMRNet达到46.9%的mAP，较之前最先进单阶段方法（NAE+）高出2.9%。
• 该模型在不同规模的图库下均保持优异性能，展现出在大规模真实场景下的鲁棒性。
• DMRNet的推理速度是两阶段方法MGTS的5.73倍（以TFLOPs为单位归一化），表现出极高的推理效率。
• 消融实验表明，解耦与记忆增强均对mAP提升有显著贡献。
• 尽管为单阶段框架，DMRNet在PRW数据集上的性能与顶尖两阶段方法（如TCTS）相当。