[论文解读] Deep Density-aware Count Regressor

Zhuojun Chen, Junhao Cheng+4 more|arXiv (Cornell University)|Aug 9, 2019

Video Surveillance and Tracking Methods参考文献 35被引用 10

一句话总结

本文提出了一种深度密度感知计数回归器，通过利用密度图的多级像素化来提升信噪比（SNR）并减少预测误差，从而改进人群计数。该方法在训练过程中引入多层梯度融合，其中主干网络从多个分支学习，而推理阶段则通过分离辅助分支实现加速，从而在公开基准上实现了最先进水平的准确率与效率。

ABSTRACT

We seek to improve crowd counting as we perceive limits of currently prevalent density map estimation approach on both prediction accuracy and time efficiency. We leverage multilevel pixelation of density map as it helps improve SNR of training data and therefore, reduce prediction error. To achieve a better model, we introduce multilayer gradient fusion for training a density-aware global count regressor. More specifically, on training stage, a backbone network receives gradients from multiple branches to learn the density information, whereas those branches are to be detached to accelerate inference. By taking advantages of such method, our model improves benchmark results on public datasets and exhibits itself to be a new solution to crowd counting problems in practice.

研究动机与目标

• 解决现有密度图估计方法在人群计数中预测准确率与推理效率方面的局限性。
• 通过密度图的多级像素化，提升训练数据的信噪比（SNR）。
• 开发一种全局计数回归器，通过多尺度监督有效捕捉密度信息。
• 通过在训练后分离辅助分支，实现推理加速，同时保持性能。
• 在公开人群计数基准上实现最先进水平的结果。

提出的方法

• 该方法使用密度图的多级像素化以提升训练数据的信噪比（SNR），从而减少预测误差。
• 主干网络通过来自多个分支的梯度进行训练，每个分支对应一种不同的像素化级别。
• 多层梯度融合使模型能够在训练过程中学习分层的密度表征。
• 推理阶段，辅助分支被分离，从而实现快速高效的计数预测。
• 该架构设计为直接回归总人群计数，而非预测完整的密度图。
• 模型通过全局计数的损失函数进行端到端训练，同时利用多尺度监督以提升特征学习能力。

实验结果

研究问题

• RQ1 密度图的多级像素化是否能提升人群计数中训练数据的信噪比（SNR）？
• RQ2 多层梯度融合如何增强全局计数回归器中密度感知特征的学习？
• RQ3 通过多分支监督训练的模型是否能在保持快速推理的同时实现更高准确率？
• RQ4 所提出的方法是否在准确率与效率两方面均优于现有密度图估计方法？
• RQ5 分离推理分支在多大程度上能保持性能的同时实现推理加速？

主要发现

• 所提方法在公开人群计数基准上实现了最先进水平的性能，相比现有密度图估计方法显著提升了预测准确率。
• 多级像素化显著提升了训练数据的信噪比（SNR），从而降低了预测误差。
• 多层梯度融合的使用使模型能够从多尺度学习到更丰富的密度表征。
• 通过在训练后分离辅助分支，推理速度得到显著提升，且未牺牲性能。
• 该模型在基准数据集的多样化人群密度场景下表现出强大的泛化能力与鲁棒性。
• 在UCSD、ShanghaiTech和UCF-QNRF等标准基准上，该方法取得了与先前方法相当或更优的结果。