[论文解读] Double Anchor R-CNN for Human Detection in a Crowd

Kevin Zhang, Feng Xiong+4 more|arXiv (Cornell University)|Sep 22, 2019

Video Surveillance and Tracking Methods参考文献 37被引用 10

一句话总结

本文提出双锚点 Faster R-CNN，一种两阶段目标检测框架，通过成对候选框生成策略，联合检测拥挤场景中的人体和头部。通过跨候选框增强与特征聚合，结合联合非极大值抑制（Joint NMS）模块，该方法在 CrowdHuman 上实现 51.79pp 的对数平均漏检率（log-average miss rate），在 COCOPersons（拥挤）上为 55.01pp，在 CrowdPose（拥挤）上为 40.02pp，性能达到当前最先进水平，优于先前方法 3.57–4.24pp。

ABSTRACT

Detecting human in a crowd is a challenging problem due to the uncertainties of occlusion patterns. In this paper, we propose to handle the crowd occlusion problem in human detection by leveraging the head part. Double Anchor RPN is developed to capture body and head parts in pairs. A proposal crossover strategy is introduced to generate high-quality proposals for both parts as a training augmentation. Features of coupled proposals are then aggregated efficiently to exploit the inherent relationship. Finally, a Joint NMS module is developed for robust post-processing. The proposed framework, called Double Anchor R-CNN, is able to detect the body and head for each person simultaneously in crowded scenarios. State-of-the-art results are reported on challenging human detection datasets. Our model yields log-average miss rates (MR) of 51.79pp on CrowdHuman, 55.01pp on COCOPersons~(crowded sub-dataset) and 40.02pp on CrowdPose~(crowded sub-dataset), which outperforms previous baseline detectors by 3.57pp, 3.82pp, and 4.24pp, respectively. We hope our simple and effective approach will serve as a solid baseline and help ease future research in crowded human detection.

研究动机与目标

• 解决在遮挡与实例重叠严重导致检测器性能下降的拥挤场景中的人体检测挑战。
• 通过利用头部区域（在密集人群中比完整人体更少被遮挡且更具判别性）提升检测鲁棒性。
• 设计一种训练策略，通过候选框交叉提升人体与头部检测的候选框质量。
• 设计一种特征聚合机制，有效融合头部与身体特征，提升检测可靠性。
• 引入联合 NMS 模块，通过可学习加权因子 λ 抑制误检，提升密集场景下后处理的鲁棒性。

提出的方法

• 设计双锚点 RPN，通过为每个人配置成对锚点，同时生成人体与头部的区域候选框。
• 提出候选框交叉策略，通过配对高质量头部与人体候选框进行训练增强，使每张图像的有用正样本对数量从约 40 对提升至约 97 对。
• 利用全连接（FC）向量聚合成对候选框的特征，以挖掘头部与身体之间的空间与语义关联。
• 在第二阶段采用 RoI Pooling/RoI Align 提取精细化特征，用于最终检测。
• 引入联合 NMS 模块，结合头部与身体的检测分数，并引入可学习加权因子 λ，以抑制误检并提升后处理鲁棒性。
• 在 CrowdHuman、COCOPersons 和 CrowdPose 上进行训练与评估，并通过消融实验验证各模块的有效性。

实验结果

研究问题

• RQ1 在高度拥挤的场景中，联合检测人体与头部是否能提升检测性能？
• RQ2 通过配对高质量头部与人体候选框的候选框交叉策略，是否能提升检测准确率与鲁棒性？
• RQ3 头部与人体候选框之间的特征聚合在提升检测可靠性方面效果如何？
• RQ4 结合头部与身体分数的联合 NMS 模块是否能比标准 NMS 更有效地减少密集场景下的误检？
• RQ5 所提方法是否能在 CrowdHuman 之外的其他具有挑战性的行人检测数据集上实现良好泛化？

主要发现

• 所提双锚点 Faster R-CNN 在 CrowdHuman 数据集上实现 51.79pp 的对数平均漏检率（MR），相比基线提升 3.57pp。
• 在 COCOPersons（拥挤子集）上，MR 降低至 55.01pp，相比基线提升 3.82pp。
• 在 CrowdPose（拥挤子集）上，MR 达到 40.02pp，相比基线提升 4.24pp。
• 候选框交叉策略使每张图像的合格头部-身体候选框对平均数量从约 40 对提升至约 97 对，显著提升检测性能。
• 通过 FC 向量实现的特征聚合使 MR-B 提升 0.45pp，MR-H 提升 0.14pp；而空间特征图融合因对齐问题导致性能下降 2.58pp。
• 联合 NMS 在所有召回设置下均有效抑制误检，且在不同 λ 值下结果稳定，展现出优异的后处理鲁棒性。