[论文解读] LDC-Net: A Unified Framework for Localization, Detection and Counting in Dense Crowds

Qi Wang, Tao Han+3 more|arXiv (Cornell University)|Oct 10, 2021

Video Surveillance and Tracking Methods参考文献 58被引用 7

一句话总结

LDC-Net 提出了一种统一的深度学习框架，用于在极端密集场景中实现同时的群体定位、检测与计数。该方法基于一种极简范式，通过一种新颖的 OUSR 损失函数和二值化模块预测位置图与尺寸图，在检测任务上（HRNet 上达到 87.9 AP）实现最先进性能，同时在计数精度上表现具有竞争力，且相比先前方法显著降低了计算复杂度。

ABSTRACT

The rapid development in visual crowd analysis shows a trend to count people by positioning or even detecting, rather than simply summing a density map. It also enlightens us back to the essence of the field, detection to count, which can give more abundant crowd information and has more practical applications. However, some recent work on crowd localization and detection has two limitations: 1) The typical detection methods can not handle the dense crowds and a large variation in scale; 2) The density map heuristic methods suffer from performance deficiency in position and box prediction, especially in high density or large-size crowds. In this paper, we devise a tailored baseline for dense crowds location, detection, and counting from a new perspective, named as LDC-Net for convenience, which has the following features: 1) A strong but minimalist paradigm to detect objects by only predicting a location map and a size map, which endows an ability to detect in a scene with any capacity ($0 \sim 10,000+$ persons); 2) Excellent cross-scale ability in facing a large variation, such as the head ranging in $0 \sim 100,000+$ pixels; 3) Achieve superior performance in location and box prediction tasks, as well as a competitive counting performance compared with the density-based methods. Finally, the source code and pre-trained models will be released.

研究动机与目标

• 解决现有方法在处理人群场景中极端密集与大规模变化时的局限性。
• 将定位、检测与计数三个相关任务统一到一个连贯的框架中，以提升实际应用价值。
• 克服基于密度的方法（缺乏位置/尺度信息）与传统检测器（在密集人群中的表现不佳）的不足。
• 开发具备强跨尺度泛化能力且计算开销极小的模型，以支持实时部署。
• 实现在密集人群中对极小目标（0–100 像素）与极大边界框（高达 100,000+ 像素）的精确检测。

提出的方法

• 以独立实例图（IIM）为基础实现实例级定位，无需实例分割即可完成检测。
• 预测两个关键图：表示头部中心的位置图与估计头部尺寸（宽与高）的尺寸图。
• 提出 OUSR 损失函数，以优化定位与尺寸预测，提升检测准确率并减少误报。
• 设计一种新颖的二值化模块，通过自适应阈值与非极大值抑制，将预测的尺寸图转换为精确边界框。
• 采用轻量级主干网络（如 HRNet、VGG16），以保持高推理速度与低 MACs，支持实时部署。
• 应用迁移学习，使模型可适配至人脸检测任务，证明其在人群计数之外的泛化能力。

实验结果

研究问题

• RQ1 统一框架是否能同时在人群定位、检测与计数任务上实现最先进性能？
• RQ2 所提出的基于位置与尺寸图预测的范式在极端密集与尺度变化下表现如何？
• RQ3 与标准检测方法或基于密度的方法相比，OUSR 损失函数与二值化模块在多大程度上提升了检测准确率？
• RQ4 该模型能否在标注类型不同（如点级标注 vs. 框级标注）且目标尺度极端多变的数据集间实现良好泛化？
• RQ5 与现有最先进检测器相比，该方法在密集人群场景下的计算效率如何？

主要发现

• LDC-Net 在 WIDER FACE 验证集上使用 HRNet 达到 87.9 AP，相比 TinyFaces 提升 25%，并大幅超越 LSC-CNN。
• 模型保持了高精度与高召回率的平衡，表现为精确率-召回率曲线中最大的包络面积，表明其在不同召回率阈值下均具鲁棒性。
• LDC-Net 将 MACs 降低至 372.7G（使用 HRNet），单张图像推理时间缩短至 150ms，显著优于 LSC-CNN（4634ms）与 TopoCount（95ms）的速度与效率。
• 后处理耗时 33ms（CPU 上），为主要瓶颈，表明优化该阶段可进一步加速推理。
• 模型在人脸检测任务上泛化良好，在 WIDER FACE 上达到 86.0 AP 的竞争力表现，证明其在人群计数之外的可迁移性。
• LDC-Net 在极端密集场景（如 1,000+ 人）中表现出优越的检测性能，并能有效处理大尺度变化（头部尺寸达 0–100,000+ 像素）。