[论文解读] Iterative Crowd Counting

Viresh Ranjan, Hieu Lê+1 more|arXiv (Cornell University)|Jul 26, 2018

Video Surveillance and Tracking Methods参考文献 17被引用 24

一句话总结

本文提出迭代人群计数（ic-CNN），一种双分支CNN架构，首先预测低分辨率密度图，然后通过特征融合将其细化为高分辨率输出。该方法实现了最先进性能，在Shanghaitech Part B数据集上相比先前工作将平均绝对误差降低了48.3%。

ABSTRACT

In this work, we tackle the problem of crowd counting in images. We present a Convolutional Neural Network (CNN) based density estimation approach to solve this problem. Predicting a high resolution density map in one go is a challenging task. Hence, we present a two branch CNN architecture for generating high resolution density maps, where the first branch generates a low resolution density map, and the second branch incorporates the low resolution prediction and feature maps from the first branch to generate a high resolution density map. We also propose a multi-stage extension of our approach where each stage in the pipeline utilizes the predictions from all the previous stages. Empirical comparison with the previous state-of-the-art crowd counting methods shows that our method achieves the lowest mean absolute error on three challenging crowd counting benchmarks: Shanghaitech, WorldExpo'10, and UCF datasets.

研究动机与目标

• 解决在人群密度存在极端差异的图像中实现精确人群计数的挑战。
• 克服单阶段CNN在处理不同图像间广泛人群密度范围时的局限性。
• 通过将低分辨率预测作为上下文特征用于高分辨率细化，提升密度估计的准确性。
• 开发一种多阶段扩展，按顺序整合前序阶段的预测结果，以进一步提升性能。
• 在与先前多列方法相比架构复杂度极低的前提下，实现在基准人群计数数据集上的最先进结果。

提出的方法

• 提出一种双分支CNN架构：低分辨率CNN（LR-CNN）和高分辨率CNN（HR-CNN），其中LR-CNN以1/4分辨率处理输入。
• 利用LR-CNN生成低分辨率密度图并提取卷积特征，随后与HR-CNN的特征进行融合。
• 通过结合自身特征与来自LR-CNN的低分辨率预测和特征图，训练HR-CNN以预测高分辨率密度图。
• 引入多阶段扩展，将多个ic-CNN模型堆叠，每个阶段均使用所有先前阶段的预测结果作为输入。
• 在特征层面融合低分辨率预测与高分辨率特征，以提升空间细节和密度估计准确性。
• 使用预测密度图与真实密度图之间的标准L1损失进行网络训练，以最小化平均绝对误差。

实验结果

研究问题

• RQ1 双分支迭代CNN架构是否能在人群计数精度上超越现有的多列或切换CNN方法？
• RQ2 将低分辨率密度预测作为上下文特征引入，是否能提升高分辨率密度估计性能？
• RQ3 迭代框架的多阶段扩展是否能进一步降低基准数据集上的平均绝对误差？
• RQ4 该方法在人群密度差异巨大的数据集（如Shanghaitech、WorldExpo’10和UCF）上是否具有良好泛化能力？
• RQ5 在遮挡或小而密集的群体等挑战性情况下，模型性能退化程度如何？

主要发现

• 与先前最先进方法CP-CNN相比，ic-CNN在Shanghaitech Part B数据集上将平均绝对误差降低了48.3%。
• 在WorldExpo’10数据集上，ic-CNN在六项评估中的三项中优于所有先前方法，平均MAE最低，为10.3。
• 在UCF人群计数数据集上，ic-CNN实现了最佳MAE（260.9）和RMSE（365.5），显著优于CP-CNN（MAE：295.8）。
• 定性结果表明，ic-CNN能成功预测密集人群，但在失败案例中偶尔会将树叶误判为人员。
• 多阶段扩展通过整合多个ic-CNN阶段的预测结果提升了性能，证明了迭代细化的优势。
• 该方法在人群密度差异较大的数据集上泛化能力良好，包括高度密集的场景和平均人数较多的场景（如UCF中每张图像平均1,280人）。