[论文解读] Person Search by Multi-Scale Matching

Lan Xu, Xiatian Zhu+1 more|arXiv (Cornell University)|Jul 23, 2018

Video Surveillance and Tracking Methods参考文献 18被引用 11

一句话总结

本文提出跨层级语义对齐（CLSA），一种深度学习框架，通过解决在非约束场景中关键但研究不足的多尺度匹配问题，提升了行人检索性能。通过集成可学习的网络内特征金字塔与一种新颖的跨层级语义对齐损失，CLSA在无需复杂多分支网络或图像金字塔的情况下，实现了最先进性能，在CUHK-SYSU上将Rank-1准确率提升6.0%，在PRW上提升11.9%。

ABSTRACT

We consider the problem of person search in unconstrained scene images. Existing methods usually focus on improving the person detection accuracy to mitigate negative effects imposed by misalignment, mis-detections, and false alarms resulted from noisy people auto-detection. In contrast to previous studies, we show that sufficiently reliable person instance cropping is achievable by slightly improved state-of-the-art deep learning object detectors (e.g. Faster-RCNN), and the under-studied multi-scale matching problem in person search is a more severe barrier. In this work, we address this multi-scale person search challenge by proposing a Cross-Level Semantic Alignment (CLSA) deep learning approach capable of learning more discriminative identity feature representations in a unified end-to-end model. This is realised by exploiting the in-network feature pyramid structure of a deep neural network enhanced by a novel cross pyramid-level semantic alignment loss function. This favourably eliminates the need for constructing a computationally expensive image pyramid and a complex multi-branch network architecture. Extensive experiments show the modelling advantages and performance superiority of CLSA over the state-of-the-art person search and multi-scale matching methods on two large person search benchmarking datasets: CUHK-SYSU and PRW.

研究动机与目标

• 识别并解决行人检索中尚未充分研究的多尺度匹配问题，该问题尽管行人检测技术已取得进展，仍是主要瓶颈。
• 开发一种端到端深度学习框架，增强在自动检测边界框中不同行人尺度下的特征表示鲁棒性。
• 消除多尺度行人检索中对计算成本高昂的图像金字塔或复杂多分支架构的需求。
• 通过跨层级语义对齐提升多级特征金字塔中身份特征的判别能力。
• 验证所提方法在行人检索之外的泛化能力，包括行人重识别与物体分类任务。

提出的方法

• 提出一种跨层级语义对齐（CLSA）框架，利用预训练ResNet的中间层构建网络内特征金字塔。
• 引入一种新颖的跨层级语义对齐损失函数，通过对齐不同金字塔层级的特征表示以增强身份判别能力。
• 使用ResNet模块（如块5、4、3）的特征图构建三级特征金字塔，该深度下性能最优。
• 应用温度软化对比损失（公式3）以稳定训练并改善特征聚类，发现T=3为最优参数。
• 将CLSA集成至Faster R-CNN以提升行人检测可靠性，尽管检测并非主要性能瓶颈。
• 端到端训练整个模型，实现检测与多尺度匹配的联合优化。

实验结果

研究问题

• RQ1 行人检索中的多尺度匹配问题是否比行人检测精度更具性能瓶颈？
• RQ2 统一的端到端深度学习模型能否在无需显式图像金字塔的情况下，有效处理自动检测行人边界框中的大规模尺度变化？
• RQ3 在特征金字塔层级之间进行跨层级语义对齐是否能提升行人检索中身份特征的判别能力？
• RQ4 所提出的CLSA框架在行人检索之外的泛化能力如何，特别是在行人重识别与物体分类任务中？
• RQ5 多尺度行人匹配中，特征金字塔层级与损失温度的最优配置为何？

主要发现

• 与ResNet-50基线相比，CLSA在CUHK-SYSU基准上将Rank-1准确率提升6.0%（从82.5%提升至88.5%），证明多尺度匹配的关键作用。
• 在PRW数据集上，CLSA相比最佳竞争方法实现11.9%的Rank-1准确率增益，证实其在真实世界多尺度场景中的优越性。
• 三级特征金字塔（块5-4-3）性能最佳，更深的金字塔（如5-4-3-2）因语义鸿沟问题导致性能下降。
• 对比损失中的温度参数相对不敏感，T=3时表现最佳，表明对超参数调优具有鲁棒性。
• CLSA在行人检索之外也具有良好泛化能力，在Market-1501上使行人重识别的Rank-1提升3.5%，mAP提升4.5%；在CIFAR-100上将Top-1准确率提升1.5%。
• 仅使用真实边界框仅使Rank-1提升1.5%，而通过CLSA实现的多尺度学习使Rank-1提升6.0%，证明尺度匹配比检测本身更具挑战性。