[论文解读] IAN: The Individual Aggregation Network for Person Search

Jimin Xiao, Yanchun Xie+4 more|arXiv (Cornell University)|May 16, 2017

Video Surveillance and Tracking Methods参考文献 10被引用 9

一句话总结

本文提出了一种新型端到端深度学习框架——个体聚合网络（IAN），用于行人搜索任务，通过Faster R-CNN与一种新型中心损失联合优化行人检测与重识别。通过类中心感知的特征学习最小化同一身份的特征差异，IAN在CUHK-SYSU数据集上实现了77.23%的mAP和80.45%的top-1准确率，分别优于之前的方法1.7%和1.85%。

ABSTRACT

Person search in real-world scenarios is a new challenging computer version task with many meaningful applications. The challenge of this task mainly comes from: (1) unavailable bounding boxes for pedestrians and the model needs to search for the person over the whole gallery images; (2) huge variance of visual appearance of a particular person owing to varying poses, lighting conditions, and occlusions. To address these two critical issues in modern person search applications, we propose a novel Individual Aggregation Network (IAN) that can accurately localize persons by learning to minimize intra-person feature variations. IAN is built upon the state-of-the-art object detection framework, i.e., faster R-CNN, so that high-quality region proposals for pedestrians can be produced in an online manner. In addition, to relieve the negative effect caused by varying visual appearances of the same individual, IAN introduces a novel center loss that can increase the intra-class compactness of feature representations. The engaged center loss encourages persons with the same identity to have similar feature characteristics. Extensive experimental results on two benchmarks, i.e., CUHK-SYSU and PRW, well demonstrate the superiority of the proposed model. In particular, IAN achieves 77.23% mAP and 80.45% top-1 accuracy on CUHK-SYSU, which outperform the state-of-the-art by 1.7% and 1.85%, respectively.

研究动机与目标

• 解决真实监控场景中行人检测的挑战，其中行人边界框不可用，且由于姿态、光照和遮挡导致视觉外观显著变化。
• 开发一种端到端框架，联合优化行人检测与重识别，提升模型鲁棒性与准确率，优于分别优化的方法。
• 减少由外观变化引起的同一身份特征方差，增强同一身份特征的紧凑性。
• 探究中心损失与深度神经网络中Dropout的兼容性，以优化行人搜索模型设计。

提出的方法

• IAN基于Faster R-CNN目标检测框架，用于在整幅图像中生成高质量的在线区域提议，以定位行人。
• 提出一种新型中心损失，通过将同一身份的特征拉向其类别中心，最小化类内特征方差。
• 将中心损失集成到端到端训练流程中，实现检测与重识别的联合优化，提升特征紧凑性。
• 通过结合Softmax损失进行分类与中心损失进行类内紧凑性优化，增强特征的判别能力。
• 兼容性研究发现，由于梯度冲突，Dropout与中心损失不兼容，因此在最终模型中移除了Dropout层。
• 在CUHK-SYSU与PRW基准上使用VGGNet和ResNet-101进行评估，结果表明模型在不同规模图库和复杂条件下均具有强鲁棒性。

实验结果

研究问题

• RQ1 与分别优化检测与重识别的流水线相比，联合端到端学习框架是否能提升行人搜索的准确率？
• RQ2 中心损失在减少监控图像中因外观变化导致的同一身份特征方差方面是否有效？
• RQ3 将中心损失与Faster R-CNN结合是否能提升真实世界行人搜索场景中的检测与重识别性能？
• RQ4 为何在此场景中Dropout与中心损失不兼容？这对模型设计有何影响？
• RQ5 所提出的IAN模型在遮挡、低分辨率和大规模图库等挑战性条件下表现如何？

主要发现

• 在CUHK-SYSU数据集中，IAN实现了77.23%的mAP与80.45%的top-1准确率，分别优于之前最先进方法1.7%与1.85%。
• 在PRW数据集中，IAN实现了23.00%的mAP与61.85%的top-1准确率，top-1准确率超过DPM-Alex+IDE det超过14个百分点。
• 在大规模图库（4,000）条件下，IAN在ResNet-101主干网络下相比E2E-PS [16] 实现了超过10%的mAP提升，展现出卓越的可扩展性。
• 在低分辨率与遮挡子集上，IAN仍保持优异性能，mAP分别达到52.60%与53.02%，显著优于E2E-PS [16]。
• 消融实验验证了移除Dropout层可提升性能，证实了在IAN框架中Dropout与中心损失存在不兼容性。
• 模型在多个基准与挑战性条件下均表现出一致的优越性，证实了中心损失在增强类内紧凑性方面的有效性。