[论文解读] Bayesian Multi-Scale Neural Network for Crowd Counting

Abhinav Sagar|arXiv (Cornell University)|Jul 11, 2020

Video Surveillance and Tracking Methods参考文献 46被引用 5

一句话总结

该论文提出了一种用于人群计数的贝叶斯多尺度神经网络，通过将基于ResNet的特征提取器与空洞卷积及转置卷积相结合，以保留空间分辨率并增强多尺度上下文。一种新颖的视角感知聚合模块（PAM）提升了对尺度和视角变化的鲁棒性，而贝叶斯推断则通过认知不确定性与随机不确定性分支实现不确定性感知预测，在ShanghaiTech、UCF-CC-50和UCF-QNRF数据集上以极少的参数量达到最先进性能。

ABSTRACT

Crowd counting is a challenging yet critical task in computer vision with applications ranging from public safety to urban planning. Recent advances using Convolutional Neural Networks (CNNs) that estimate density maps have shown significant success. However, accurately counting individuals in highly congested scenes remains an open problem due to severe occlusions, scale variations, and perspective distortions, where people appear at drastically different sizes across the image. In this work, we propose a novel deep learning architecture that effectively addresses these challenges. Our network integrates a ResNet-based feature extractor for capturing rich hierarchical representations, followed by a downsampling block employing dilated convolutions to preserve spatial resolution while expanding the receptive field. An upsampling block using transposed convolutions reconstructs the high-resolution density map. Central to our architecture is a novel Perspective-aware Aggregation Module (PAM) designed to enhance robustness to scale and perspective variations by adaptively aggregating multi-scale contextual information. We detail the training procedure, including the loss functions and optimization strategies used. Our method is evaluated on three widely used benchmark datasets using Mean Absolute Error (MAE) and Mean Squared Error (MSE) as evaluation metrics. Experimental results demonstrate that our model achieves superior performance compared to existing state-of-the-art methods. Additionally, we incorporate principled Bayesian inference techniques to provide uncertainty estimates along with the crowd count predictions, offering a measure of confidence in the model's outputs.

研究动机与目标

• 解决密集人群场景中严重的遮挡、尺度变化和视角失真问题。
• 通过引入一种新颖的视角感知聚合模块（PAM），融合多尺度上下文特征，提升人群计数精度。
• 通过建模深度神经网络中的认知不确定性和随机不确定性，提供可解释的、不确定性感知的预测。
• 通过参数高效的网络结构设计，实现高性能与低计算成本的平衡。

提出的方法

• 使用基于ResNet的主干网络进行层次化特征提取，并通过跳跃连接缓解梯度消失问题。
• 在下采样路径中采用空洞卷积，以扩大感受野的同时保留空间分辨率。
• 在上采样路径中应用转置卷积，以重建高分辨率密度图。
• 引入一种视角感知聚合模块（PAM），自适应融合多尺度特征，增强对尺度和视角变化的鲁棒性。
• 采用三头输出结构：一个用于密度图预测，另两个辅助头分别用于估计认知不确定性和随机不确定性。
• 通过变分推断结合权重采样和基于对数似然的损失函数，分别建模认知不确定性和随机不确定性，实现端到端的贝叶斯训练。

实验结果

研究问题

• RQ1 具有视角感知特征聚合的多尺度深度学习架构是否能提升高度拥挤场景中的人群计数精度？
• RQ2 如何有效将贝叶斯深度学习技术集成到人群计数中，以在预测的同时提供不确定性估计？
• RQ3 与现有最先进模型相比，所提方法在保持或提升性能的同时，能在多大程度上减少参数量？
• RQ4 认知不确定性和随机不确定性图与图像级挑战（如遮挡和视角失真）之间存在何种关联？

主要发现

• 所提模型在三个基准数据集（ShanghaiTech、UCF-CC-50和UCF-QNRF）上均达到最先进性能，在MAE和MSE指标上均优于先前方法。
• 在UCF-QNRF数据集上，模型实现MAE为25.6，MSE为134.2，显著优于先前最先进方法。
• 模型参数量仅为0.24百万，具有高度效率，适用于边缘设备部署。
• 定性分析表明，认知不确定性和随机不确定性在密集人群区域均升高，且两类不确定性的空间分布一致，反映出模型与数据的模糊性。
• 不确定性图与预测置信度具有视觉相关性：红色区域（高不确定性）对应被遮挡、模糊或视角失真的个体，增强了模型可解释性。
• 不确定性估计的集成为预测提供了可靠的置信度度量，这对公共安全和城市规划等高风险应用场景至关重要。