[论文解读] DENet: A Universal Network for Counting Crowd with Varying Densities and Scales

Lei Liu, Jie Jiang+4 more|arXiv (Cornell University)|Apr 17, 2019

Video Surveillance and Tracking Methods参考文献 24被引用 6

一句话总结

DENet 是一种新颖的双分支深度学习框架，用于人群计数，结合了用于清晰分割个体的检测网络（DNet）和用于在低可见度或高密度区域估计密度图的编码器-解码器估计网络（ENet）。通过采用改进的 Xception 主干网络和混合空洞/转置卷积解码器，DENet 在 ShanghaiTech Part A、UCF 和 WorldExpo'10 上实现了最先进性能，其平均绝对误差（MAE）低于先前方法。

ABSTRACT

Counting people or objects with significantly varying scales and densities has attracted much interest from the research community and yet it remains an open problem. In this paper, we propose a simple but an efficient and effective network, named DENet, which is composed of two components, i.e., a detection network (DNet) and an encoder-decoder estimation network (ENet). We first run DNet on an input image to detect and count individuals who can be segmented clearly. Then, ENet is utilized to estimate the density maps of the remaining areas, where the numbers of individuals cannot be detected. We propose a modified Xception as an encoder for feature extraction and a combination of dilated convolution and transposed convolution as a decoder. In the ShanghaiTech Part A, UCF and WorldExpo'10 datasets, our DENet achieves lower Mean Absolute Error (MAE) than those of the state-of-the-art methods.

研究动机与目标

• 解决在密度和尺度差异极大的场景中人群计数的挑战。
• 提高因遮挡或体型过小而难以检测的个体的计数准确性。
• 开发一种统一框架，结合实例级检测与密度级估计，以在多样化人群场景中实现稳健性能。
• 与现有最先进方法相比，降低人群计数基准测试中的平均绝对误差（MAE）。

提出的方法

• DENet 采用双分支架构：检测网络（DNet）用于识别并计数清晰分割的个体。
• 在 ENet 中使用改进的 Xception 网络作为编码器，以实现有效的多尺度特征提取。
• ENet 中的解码器结合空洞卷积与转置卷积，以重建高分辨率密度图。
• 利用 DNet 的检测结果引导 ENet 中的估计过程，聚焦于可检测性较低的区域。
• 通过联合损失函数端到端训练模型，以平衡检测与密度估计目标。
• 在解码过程中上采样编码器的特征图，同时保留空间细节，以实现准确的密度预测。

实验结果

研究问题

• RQ1 统一的深度学习框架能否有效处理在截然不同的密度与尺度下的人群计数？
• RQ2 如何联合优化检测与密度估计，以提升在具有挑战性场景下的计数准确性？
• RQ3 将实例级检测与密度图回归相结合，能在多大程度上降低基准数据集上的 MAE？
• RQ4 在解码器中使用空洞卷积与转置卷积是否能改善对小个体或被遮挡个体的特征重建？
• RQ5 使用改进的 Xception 主干网络是否能增强在极端变化条件下的特征表示能力？

主要发现

• 与所有最先进方法相比，DENet 在 ShanghaiTech Part A 数据集上实现了最低的平均绝对误差（MAE）。
• 在 UCF-QNRF 数据集上，DENet 展现出优越性能，其 MAE 低于先前的最先进模型。
• 该模型在多样化人群场景中表现出强大的泛化能力，包括低密度、中密度和高密度环境。
• DNet 与 ENet 的集成显著提升了对小个体或被遮挡个体的检测能力，减少了漏计数错误。
• 在解码器中使用空洞卷积与转置卷积显著提升了估计密度图的质量。
• 改进的 Xception 主干网络有助于提升特征表示能力，尤其在高密度区域表现更优。