[论文解读] Attribute-aware Pedestrian Detection in a Crowd

Jialiang Zhang, Lixiang Lin+5 more|arXiv (Cornell University)|Oct 21, 2019

Video Surveillance and Tracking Methods参考文献 49被引用 5

一句话总结

本文提出了一种属性感知的行人检测器，通过嵌入特征图建模高层语义属性（如密度和多样性），以提升在拥挤场景中的检测性能。通过集成属性感知的非极大值抑制（NMS）和新颖的真值目标，该方法在CityPersons和CrowdHuman数据集上显著优于当前最先进方法，CityPersons测试集的MR⁻²达到8.27%，CrowdHuman的MR⁻²达到35.76%。

ABSTRACT

Pedestrian detection is an initial step to perform outdoor scene analysis, which plays an essential role in many real-world applications. Although having enjoyed the merits of deep learning frameworks from the generic object detectors, pedestrian detection is still a very challenging task due to heavy occlusion and highly crowded group. Generally, the conventional detectors are unable to differentiate individuals from each other effectively under such a dense environment. To tackle this critical problem, we propose an attribute-aware pedestrian detector to explicitly model people's semantic attributes in a high-level feature detection fashion. Besides the typical semantic features, center position, target's scale and offset, we introduce a pedestrian-oriented attribute feature to encode the high-level semantic differences among the crowd. Moreover, a novel attribute-feature-based Non-Maximum Suppression~(NMS) is proposed to distinguish the person from a highly overlapped group by adaptively rejecting the false-positive results in a very crowd settings. Furthermore, a novel ground truth target is designed to alleviate the difficulties caused by the attribute configuration and extremely class imbalance issues during training. Finally, we evaluate our proposed attribute-aware pedestrian detector on two benchmark datasets including CityPersons and CrowdHuman. The experimental results show that our approach outperforms state-of-the-art methods at a large margin on pedestrian detection.

研究动机与目标

• 解决在严重遮挡和重叠导致个体难以区分的高度拥挤场景中行人检测的挑战。
• 克服传统NMS的局限性，后者在密集人群的重叠建议框中因固定阈值而表现不佳。
• 通过将密度和多样性等语义属性编码为高层嵌入向量，改进特征表示。
• 设计一种新颖的真值目标，以缓解拥挤场景中属性配置导致的类别不平衡和训练不稳定性问题。
• 开发一种属性感知的NMS，利用语义嵌入自适应抑制假阳性和优化密集人群中的检测结果。

提出的方法

• 引入一种面向行人的属性图，将密度和多样性信息联合编码为每个正样本的单一嵌入向量。
• 通过增加一个属性头，扩展无锚点目标检测框架，为每个检测到的行人预测一个3D嵌入向量。
• 设计一种新颖的真值目标，包含密度标签和多样性度量，以指导属性学习并缓解类别不平衡问题。
• 提出一种属性感知的NMS，利用预测框嵌入向量之间的语义距离，自适应地抑制重叠的假阳性。
• 使用联合损失函数端到端训练模型，包括分类损失、回归损失和属性特定损失。
• 采用DLA-34主干网络并结合多尺度特征融合，以提升在不同行人尺度和遮挡水平下的检测性能。

实验结果

研究问题

• RQ1 如何在基于深度学习的行人检测器中有效编码密度和多样性等高层语义属性，以提升在拥挤场景中的性能？
• RQ2 在多个行人严重遮挡或重叠的情况下，属性感知NMS是否能优于传统贪心NMS，以减少假阳性？
• RQ3 所提出的真值目标设计在多大程度上缓解了训练过程中属性配置和极端类别不平衡的挑战？
• RQ4 将密度和多样性信息联合编码到单一属性图中，是否比为每个属性分别设置分支带来更好的性能？
• RQ5 在标准基准上，该属性感知检测器在准确率和推理速度方面与当前最先进方法相比表现如何？

主要发现

• 所提方法在CityPersons测试集上达到8.27%的MR⁻²，优于最佳对比方法（OR-CNN为11.32%），提升3.05个百分点。
• 在CrowdHuman验证集上，采用属性感知NMS的方法达到35.76%的MR⁻²，显著优于无该机制的基线（36.79%）。
• 联合编码密度和多样性的属性图比独立分支提升0.4%，表明多任务嵌入比解耦头更有效。
• 模型推理速度为每张图像0.16秒，快于近期SOTA方法如ALF（0.27秒/图像）和CSP（0.33秒/图像），展现出效率优势。
• 消融实验表明，当嵌入维度m=4时性能最优，m=3、4、8时性能相近，表明对嵌入尺寸具有鲁棒性。
• 在不同设置下，属性感知NMS相比贪心NMS提升检测性能0.3–0.5%，证实其在处理重叠建议框方面的有效性。