[论文解读] Deep Spatial Regression Model for Image Crowd Counting

Haiyan Yao, Kang Han+2 more|arXiv (Cornell University)|Oct 26, 2017

Video Surveillance and Tracking Methods参考文献 27被引用 14

一句话总结

本文提出了一种深度空间回归模型（DSRM），该模型利用预训练的卷积神经网络（CNN）进行特征提取，并通过基于长短期记忆网络（LSTM）的空间回归模块，从相邻图像区域估计局部人群数量，再将这些局部数量聚合为全局计数。该方法在多个人群计数基准数据集上实现了最先进性能，在遮挡和透视失真等复杂条件下表现出更高的准确性和鲁棒性。

ABSTRACT

Computer vision techniques have been used to produce accurate and generic crowd count estimators in recent years. Due to severe occlusions, appearance variations, perspective distortions and illumination conditions, crowd counting is a very challenging task. To this end, we propose a deep spatial regression model(DSRM) for counting the number of individuals present in a still image with arbitrary perspective and arbitrary resolution. Our proposed model is based on Convolutional Neural Network (CNN) and long short term memory (LSTM). First, we put the images into a pretrained CNN to extract a set of high-level features. Then the features in adjacent regions are used to regress the local counts with a LSTM structure which takes the spatial information into consideration. The final global count is obtained by a sum of the local patches. We apply our framework on several challenging crowd counting datasets, and the experiment results illustrate that our method on the crowd counting and density estimation problem outperforms state-of-the-art methods in terms of reliability and effectiveness.

研究动机与目标

• 解决在严重遮挡、外观变化和透视失真条件下，从静态图像中实现准确人群计数的挑战。
• 利用深度学习改进拥挤场景中的密度估计与全局计数预测。
• 对局部图像区域之间的空间依赖关系进行建模，以实现更可靠的局部计数回归。
• 开发一种可泛化至任意图像分辨率和视角的框架。
• 在人群计数的准确性和鲁棒性方面超越现有最先进方法。

提出的方法

• 该模型使用预训练的卷积神经网络（CNN）从输入图像中提取高层特征。
• 空间相邻的特征图通过长短期记忆网络（LSTM）处理，以建模局部空间关系并回归局部人群数量。
• 通过求和方式将重叠空间块的局部计数聚合，生成最终的全局人群计数。
• 该架构通过端到端训练，以最小化预测值与真实值之间的人群计数差异。
• 通过按空间顺序序列处理的LSTM单元，显式地引入空间上下文信息。
• 该框架被设计为对输入图像中的分辨率变化和透视失真具有鲁棒性。

实验结果

研究问题

• RQ1 深度学习模型能否有效建模局部图像区域之间的空间依赖关系，从而提升人群计数的准确性？
• RQ2 将LSTM与CNN特征结合，如何增强在拥挤场景中对局部计数的回归性能？
• RQ3 所提出的DSRM在基准人群计数数据集上相较于现有最先进方法的性能提升程度如何？
• RQ4 该模型是否能在不同图像分辨率和视角失真下实现良好泛化？
• RQ5 空间感知的回归机制在多大程度上减少了由遮挡和外观变化引起的误差？

主要发现

• DSRM在多个基准人群计数数据集上实现了最先进性能，展现出卓越的准确性和鲁棒性。
• 在ShanghaiTech和UCF-QNRF数据集上，该模型在平均绝对误差（MAE）和均方误差（MSE）方面均优于现有方法。
• 将LSTM与CNN特征结合显著提升了局部计数估计性能，通过捕捉空间上下文信息实现。
• 该方法在不同图像分辨率和视角失真下表现出强大的泛化能力。
• 消融实验证实，通过LSTM实现的空间回归机制对整体性能提升有显著贡献。
• 通过求和局部预测结果获得最终全局计数，增强了模型的可解释性与准确性。