[论文解读] Focal Inverse Distance Transform Maps for Crowd Localization and Counting in Dense Crowd

Dingkang Liang, Wei Xu+2 more|arXiv (Cornell University)|Feb 16, 2021

Video Surveillance and Tracking Methods参考文献 43被引用 13

一句话总结

本文提出焦点反距离变换（FIDT）图以通过用更清晰、无重叠的表示替代传统密度图，提升密集场景中人群定位与计数的性能，该表示能精确标注个体位置。该方法在FIDT图上使用CNN回归，实现了最先进水平的定位性能和具有竞争力的计数准确率，并在极端密集场景和负样本下表现出强鲁棒性。

ABSTRACT

In this paper, we propose a novel map for dense crowd localization and crowd counting. Most crowd counting methods utilize convolution neural networks (CNN) to regress a density map, achieving significant progress recently. However, these regression-based methods are often unable to provide a precise location for each person, attributed to two crucial reasons: 1) the density map consists of a series of blurry Gaussian blobs, 2) severe overlaps exist in the dense region of the density map. To tackle this issue, we propose a novel Focal Inverse Distance Transform (FIDT) map for crowd localization and counting. Compared with the density maps, the FIDT maps accurately describe the people's location, without overlap between nearby heads in dense regions. We simultaneously implement crowd localization and counting by regressing the FIDT map. Extensive experiments demonstrate that the proposed method outperforms state-of-the-art localization-based methods in crowd localization tasks, achieving very competitive performance compared with the regression-based methods in counting tasks. In addition, the proposed method presents strong robustness for the negative samples and extremely dense scenes, which further verifies the effectiveness of the FIDT map. The code and models are available at this https URL.

研究动机与目标

• 解决基于回归的人群计数方法因密度图模糊、重叠而难以精确定位个体的局限性。
• 克服在密集人群区域中个体间严重重叠的问题，传统密度图在此类场景下无法准确实现个体定位。
• 开发一种新的地图表示方法，即使在高度拥挤的场景中也能保留无空间重叠的精确头部位置。
• 通过深度学习回归所提出的FIDT图，实现高精度人群计数与定位的联合预测。
• 验证FIDT图在负样本和极端密集人群场景下的鲁棒性，证明其泛化能力。

提出的方法

• 提出一种新型焦点反距离变换（FIDT）图，将点标注转换为基于距离的表示，并在每个人头部周围增强焦点响应。
• 使用反距离变换（IDT）计算每个像素到最近人点的距离，生成一个连续地图，其中峰值对应头部位置。
• 应用焦点机制以增强每个人周围中心区域的响应，减少模糊，提升密集区域的定位精度。
• 端到端训练CNN以回归FIDT图，实现通过一次前向传播同时预测人群位置与数量。
• 利用FIDT图固有的非重叠峰值特性，实现在人群紧密聚集时仍能实现精确定位。
• 采用损失函数最小化预测FIDT图与真实FIDT图之间的差异，以促进精确的空间表征。

实验结果

研究问题

• RQ1 与传统密度图相比，新型地图表示是否能提升密集场景下人群定位的精度？
• RQ2 FIDT图是否能有效消除相邻个体之间的重叠区域，从而在高密度区域实现更清晰的定位？
• RQ3 对FIDT图进行端到端回归，是否能在显著提升定位精度的同时实现具有竞争力的计数性能？
• RQ4 与现有方法相比，FIDT图在负样本和极端人群密度下的鲁棒性如何？
• RQ5 FIDT中的焦点机制在密集人群场景中对定位精度的提升程度如何？

主要发现

• 所提出的FIDT图在人群定位任务中达到最先进性能，优于现有基于定位的方法。
• 该方法在计数精度上与最佳回归方法相当，表明其在标准基准上的强大泛化能力。
• FIDT图在负样本和极端密集场景中表现出强鲁棒性，表明其在挑战性条件下的可靠性。
• 由于FIDT图中不存在重叠区域，即使人群紧密相邻，也能实现精确定位，而传统密度图则无法做到。
• FIDT中的焦点机制增强了中心峰值强度，减少模糊，提升密集区域的定位精度。
• 该方法在不同人群密度下均有效，且在基准数据集上持续展现出性能提升。