[论文解读] Crowd Counting with Density Adaption Networks

Li Wang, Weiyuan Shao+4 more|arXiv (Cornell University)|Jun 26, 2018

Video Surveillance and Tracking Methods参考文献 26被引用 12

一句话总结

本文提出密度自适应网络（DAN）用于人群计数，可自动估计人群密度水平，并自适应地在针对低密度和高密度场景训练的轻量化计数器网络之间进行选择。该方法在单张GPU上实现20 FPS的推理速度，且在ShanghaiTech Part B数据集上相较CP-CNN实现2.5 MAE的性能提升，达到最先进水平。

ABSTRACT

Crowd counting is one of the core tasks in various surveillance applications. A practical system involves estimating accurate head counts in dynamic scenarios under different lightning, camera perspective and occlusion states. Previous approaches estimate head counts despite that they can vary dramatically in different density settings; the crowd is often unevenly distributed and the results are therefore unsatisfactory. In this paper, we propose a lightweight deep learning framework that can automatically estimate the crowd density level and adaptively choose between different counter networks that are explicitly trained for different density domains. Experiments on two recent crowd counting datasets, UCF_CC_50 and ShanghaiTech, show that the proposed mechanism achieves promising improvements over state-of-the-art methods. Moreover, runtime speed is 20 FPS on a single GPU.

研究动机与目标

• 解决监控场景中不同密度水平下人群计数性能不一致的挑战。
• 克服现有方法中通用归一化或缩放策略在高度动态或分布不均的人群条件下失效的局限性。
• 开发一种轻量化、端到端的深度学习框架，根据输入图像的密度动态选择最优计数器网络。
• 在无需大量微调或复杂网络结构的情况下，提升跨数据集的准确率与泛化能力。

提出的方法

• 引入空间门控单元，将密度等级估计器与多个计数器网络（LCN用于低密度，HCN用于高密度）集成。
• 训练一个密度等级分类器（DAN），使用基于网格的分类头预测每张图像块的主导密度域。
• 使用共享主干网络提取特征，随后通过独立的子网络（LCN与HCN）分别处理低密度与高密度区域。
• 应用自适应推理：根据预测的密度类别决定每个图像块由哪个计数器网络处理，实现领域特定的自适应。
• 在训练过程中同时利用离散的计数标注与连续的密度图，以保留局部细节并提升回归精度。
• 通过结合计数回归与密度分类的多任务损失，实现整个流程的端到端优化。

实验结果

研究问题

• RQ1 深度学习框架能否自动检测人群图像的密度等级，并自适应地选择最合适的计数器网络？
• RQ2 在特定领域计数器网络之间进行自适应选择，相比通用归一化或固定架构，能否显著提升准确率？
• RQ3 所提方法在具有不同人群分布与成像条件的数据集之间，其泛化能力如何？
• RQ4 在动态人群计数场景中，模型复杂度、推理速度与准确率之间的权衡关系如何？

主要发现

• 在ShanghaiTech Part B数据集上，该方法相较CP-CNN实现2.5 MAE的性能提升，达到17.6 MAE与26.8 MSE。
• 在UCF_CC_50数据集上，相比Shang等人提出的最先进方法，MAE降低35.8，Part A部分达到88.5 MAE与147.6 MSE。
• 密度等级估计器（DAN）在将图像块分类为低密度或高密度域时，准确率达到96%。
• 该框架在单张NVIDIA Titan X GPU上实现20 FPS的推理速度，展现出适用于实时应用的高效性。
• 迁移学习实验表明，对目标数据集进行微调相比不微调可使性能提升5.6 MAE与6.4 MSE。
• 当采用8×8网格大小与512×512输入分辨率时，性能达到最优，兼顾了局部细节保留与计算效率。