[论文解读] In Defense of Single-column Networks for Crowd Counting

Ze Wang, Zehao Xiao+4 more|arXiv (Cornell University)|Aug 18, 2018

Video Surveillance and Tracking Methods参考文献 30被引用 10

一句话总结

本文提出单列计数网络（SCNet），一种轻量级、单列卷积神经网络架构，通过利用残差融合模块（RFMs）进行多尺度特征提取，通过金字塔池化模块（PPM）进行上下文特征聚合，并通过具有双线性上采样的子像素卷积模块（SPCM）实现高效的分辨率恢复，从而在人群计数任务中达到最先进性能。SCNet在三个基准数据集上优于多列模型，在上海人工智能研究院Part A（71.9）和Part B（9.3）上取得最低平均绝对误差（MAE），在UCF CC 50数据集上MAE为280.5，证明单列网络在不损失精度的前提下可高度有效地用于人群计数。

ABSTRACT

Crowd counting usually addressed by density estimation becomes an increasingly important topic in computer vision due to its widespread applications in video surveillance, urban planning, and intelligence gathering. However, it is essentially a challenging task because of the greatly varied sizes of objects, coupled with severe occlusions and vague appearance of extremely small individuals. Existing methods heavily rely on multi-column learning architectures to extract multi-scale features, which however suffer from heavy computational cost, especially undesired for crowd counting. In this paper, we propose the single-column counting network (SCNet) for efficient crowd counting without relying on multi-column networks. SCNet consists of residual fusion modules (RFMs) for multi-scale feature extraction, a pyramid pooling module (PPM) for information fusion, and a sub-pixel convolutional module (SPCM) followed by a bilinear upsampling layer for resolution recovery. Those proposed modules enable our SCNet to fully capture multi-scale features in a compact single-column architecture and estimate high-resolution density map in an efficient way. In addition, we provide a principled paradigm for density map generation and data augmentation for training, which shows further improved performance. Extensive experiments on three benchmark datasets show that our SCNet delivers new state-of-the-art performance and surpasses previous methods by large margins, which demonstrates the great effectiveness of SCNet as a single-column network for crowd counting.

研究动机与目标

• 挑战主流观点，即多列架构是实现有效多尺度特征学习在人群计数中所必需的。
• 开发一种轻量级单列网络，在降低计算成本的同时保持高精度。
• 提出一种基于在线采样和多尺度训练的系统性数据准备范式，以提升在有限训练数据下的泛化能力。
• 证明无需使用参数密集的子网络，也能实现高效的分辨率恢复和精确的密度图估计。

提出的方法

• 残差融合模块（RFMs）通过空洞卷积与跳跃连接，在单一路径中提取多尺度特征。
• 金字塔池化模块（PPM）在多个尺度上聚合上下文信息，增强语义表征能力。
• 子像素卷积模块（SPCM）后接双线性上采样，实现无需学习参数的高分辨率特征恢复。
• 采用系统性数据增强策略进行训练，包括在线采样和多尺度训练，以提升模型鲁棒性。
• 通过可微分、非参数化的分辨率恢复过程生成密度图，保留空间细节。
• 整个架构端到端可训练，并针对推理效率进行优化。

实验结果

研究问题

• RQ1 单列网络是否能在不依赖多列架构的前提下实现人群计数的最先进性能？
• RQ2 残差融合模块与金字塔池化在紧凑的单路径设计中，捕捉多尺度特征的效率如何？
• RQ3 在线采样与多尺度训练在有限人群计数数据集上，对模型泛化能力的提升程度如何？
• RQ4 通过SPCM实现无参数分辨率恢复，是否能在降低计算开销的同时保持高精度？

主要发现

• SCNet在上海人工智能研究院Part A（71.9）和Part B（9.3）上取得最低MAE，优于所有先前方法。
• 在UCF CC 50数据集上，SCNet实现最低MAE（280.5）与具有竞争力的MSE（332.8），表明其在高度多样化且小规模数据集上的强泛化能力。
• 在WorldExpo’10数据集上，SCNet实现最低平均MAE（8.4），并在五个测试场景中的三个排名第一。
• 消融实验表明，在线采样与多尺度训练均显著提升性能，使上海人工智能研究院Part B的MAE从10.6降至9.3。
• 基于SPCM的分辨率恢复方法可在不引入额外参数的情况下实现高精度、高分辨率密度图预测。
• 所提出的单列设计在计算成本低于多列模型的前提下实现最先进性能，验证了其高效性与有效性。