[论文解读] Repulsion Loss: Detecting Pedestrians in a Crowd

Xinlong Wang, Tete Xiao+4 more|arXiv (Cornell University)|Nov 21, 2017

Video Surveillance and Tracking Methods参考文献 27被引用 22

一句话总结

本文提出了一种新型边界框回归损失——排斥损失（Repulsion Loss, RepLoss），通过结合对目标物体的吸引与对周围非目标行人的排斥，提升了拥挤场景中行人检测的性能。通过惩罚那些向邻近行人偏移的预测结果，RepLoss提高了定位精度和对遮挡的鲁棒性，在CityPersons和Caltech-USA基准上实现了最先进性能，尤其在遮挡场景中表现突出。

ABSTRACT

Detecting individual pedestrians in a crowd remains a challenging problem since the pedestrians often gather together and occlude each other in real-world scenarios. In this paper, we first explore how a state-of-the-art pedestrian detector is harmed by crowd occlusion via experimentation, providing insights into the crowd occlusion problem. Then, we propose a novel bounding box regression loss specifically designed for crowd scenes, termed repulsion loss. This loss is driven by two motivations: the attraction by target, and the repulsion by other surrounding objects. The repulsion term prevents the proposal from shifting to surrounding objects thus leading to more crowd-robust localization. Our detector trained by repulsion loss outperforms all the state-of-the-art methods with a significant improvement in occlusion cases.

研究动机与目标

• 探究拥挤行人场景中检测失败的根本原因，特别是由遮挡引起的因素。
• 解决标准回归损失在定位过程中忽略周围物体的局限性。
• 设计一种损失函数，通过引入对非目标行人的排斥机制，提升检测器对同类遮挡的鲁棒性。
• 改善因标准检测器在盒子偏移和NMS抑制下失效而造成的高度拥挤场景中的定位精度。
• 验证所提损失在行人检测之外的通用目标检测任务中的泛化能力。

提出的方法

• 提出排斥损失（Repulsion Loss, RepLoss），一种由吸引目标真实框和排斥其他真实行人组成的双组件损失。
• 定义RepGT损失，基于IoU惩罚与非目标真实行人重叠的预测框。
• 定义RepBox损失，通过在不同目标的预测框之间施加排斥力，降低NMS的敏感性。
• 将RepLoss集成到标准Faster R-CNN架构的检测器中，实现端到端训练。
• 采用基于IoU的距离度量来同时衡量吸引与排斥，确保回归过程的空间一致性。
• 在CityPersons和Caltech-USA数据集上进行训练，并在遮挡条件下评估性能。

实验结果

研究问题

• RQ1 人群遮挡如何具体降低最先进行人检测器的性能？
• RQ2 为何标准边界框回归损失在行人密集场景中即使分类准确仍会失效？
• RQ3 引入对非目标行人的排斥机制是否能提升遮挡场景下的定位鲁棒性？
• RQ4 RepLoss如何减少因NMS导致的误检和漏检？
• RQ5 排斥机制是否可泛化至行人检测以外的其他目标检测任务？

主要发现

• 在CityPersons验证集上，48.8%的行人与另一名行人的IoU > 0.1，26.4%的IoU > 0.3，证实了遮挡的严重性。
• 所提出的RepLoss通过防止预测框向邻近行人偏移，显著减少了拥挤场景中的误检和漏检。
• 使用RepLoss训练的检测器在CityPersons和Caltech-USA基准上均达到最先进性能。
• RepLoss在遮挡情况下的检测精度显著提升，证明其在处理同类遮挡方面的有效性。
• 在PASCAL VOC上的实验表明，RepLoss对通用目标检测也具有提升作用，而不仅限于行人检测。
• RepBox损失通过确保不同目标的预测框保持空间分离，降低了NMS的敏感性。