[论文解读] AutoScale: Learning to Scale for Crowd Counting and Localization

Chenfeng Xu, Dingkang Liang+5 more|arXiv (Cornell University)|Dec 20, 2019

Video Surveillance and Tracking Methods参考文献 114被引用 7

一句话总结

该论文提出了一种名为 AutoScale 的新型学习缩放（L2S）模块，通过动态调整密集人群区域中人与人之间的感知接近程度，自动归一化图像区域，从而减少长尾密度值分布并缓解模式偏移。通过动态重缩放密集区域，AutoScale 同时提升了密度图回归与人员定位性能，在多个人群计数基准上实现了最先进性能，且在不同数据集上均表现出一致的性能提升。

ABSTRACT

Recent works on crowd counting mainly leverage CNNs to count by regressing density maps, and have achieved great progress. In the density map, each person is represented by a Gaussian blob, and the final count is obtained from the integration of the whole map. However, it is difficult to accurately predict the density map on dense regions. A major issue is that the density map on dense regions usually accumulates density values from a number of nearby Gaussian blobs, yielding different large density values on a small set of pixels. This makes the density map present variant patterns with significant pattern shifts and brings a long-tailed distribution of pixel-wise density values. We propose a simple and effective Learning to Scale (L2S) module, which automatically scales dense regions into reasonable closeness levels (reflecting image-plane distance between neighboring people). L2S directly normalizes the closeness in different patches such that it dynamically separates the overlapped blobs, decomposes the accumulated values in the ground-truth density map, and thus alleviates the pattern shifts and long-tailed distribution of density values. This helps the model to better learn the density map. We also explore the effectiveness of L2S in localizing people by finding the local minima of the quantized distance (w.r.t. person location map). To the best of our knowledge, such a localization method is also novel in localization-based crowd counting. We further introduce a customized dynamic cross-entropy loss, significantly improving the localization-based model optimization. Extensive experiments demonstrate that the proposed framework termed AutoScale improves upon some state-of-the-art methods in both regression and localization benchmarks on three crowded datasets and achieves very competitive performance on two sparse datasets.

研究动机与目标

• 解决由于密集区域中重叠的高斯斑点导致的人群密度图中长尾分布和模式偏移问题。
• 改善因传统密度图回归在值累积下失效而导致高度拥堵场景中人群计数的准确性。
• 通过在量化距离图中寻找局部极小值，实现鲁棒的人员定位，这是基于定位的人群计数中的新颖方法。
• 开发一种动态交叉熵损失，以增强基于定位模型的优化性能。
• 展示在多个数据集和基线模型上的可迁移性与一致性能提升。

提出的方法

• L2S 模块通过为每个图像块学习缩放因子，来归一化人与人之间的接近程度，从而有效分解密集区域中累积的密度值。
• L2S 以无监督聚类方式使用中心损失，将密集区域分组为相似且合适的接近程度水平，减少分布差距。
• 该方法利用学习到的缩放因子对真实密度图和预测密度图进行重缩放，以最小化模式偏移和长尾分布。
• 在定位方面，模型通过检测从密度图导出的量化距离图中的局部极小值来识别人员位置。
• 引入一种定制化的动态交叉熵损失，以提升训练稳定性和定位准确性。
• 该框架与现有回归和定位基线兼容，支持即插即用的性能提升。

实验结果

研究问题

• RQ1 学习缩放密集人群区域是否能减少人群计数中像素级密度值的长尾分布？
• RQ2 对人与人之间接近程度的归一化是否能提升高度拥堵场景下密度图的预测性能？
• RQ3 所提出的 L2S 模块能否有效应用于基于回归和基于定位的人群计数方法？
• RQ4 与标准交叉熵损失相比，动态交叉熵损失在多大程度上提升了定位性能？
• RQ5 AutoScale 在多样化的人群计数数据集上具有多大程度的泛化能力？

主要发现

• AutoScale 在三个高密度数据集上达到最先进性能：ShanghaiTech Part A（60.5 MAE）、JHU-Crowd++（76.1 MAE）和 JHU-Crowd（76.4 MAE），优于先前方法。
• 基于定位的 AutoScale 变体在 ShanghaiTech Part A 上实现 65.8 的 MAE，在 JHU-Crowd++ 上实现 85.6 的 MAE，表现出强大的定位能力。
• 仅对最多两个密集区域进行优化，而非仅一个，仅带来小于 0.7 MAE 和 2.8 MSE 的微小提升，表明额外优化带来的增益有限。
• L2S 模块在多个基线模型上均一致提升性能，展现出强大的可迁移性和泛化能力。
• 动态交叉熵损失显著提升了定位准确性，尤其在存在重叠人群的复杂场景中表现突出。
• AutoScale 在车辆计数任务中也表现出良好泛化能力，显示出超越人群计数的广泛应用潜力。