[论文解读] Crowd Counting via Weighted VLAD on Dense Attribute Feature Maps

Biyun Sheng, Chunhua Shen+4 more|arXiv (Cornell University)|Apr 29, 2016

Video Surveillance and Tracking Methods参考文献 30被引用 16

一句话总结

本文提出了一种新颖的人群计数方法，利用深度卷积神经网络（CNN）生成的像素级语义特征图，提取能够捕捉语义属性和空间上下文的局部感知特征（LAF）。该方法引入了加权VLAD（W-VLAD）来编码这些特征，在基准数据集上实现了最先进性能，UCSD数据集的平均绝对误差（MAE）为2.41，Caltech 10X数据集的MAE为1.36。

ABSTRACT

Crowd counting is an important task in computer vision, which has many applications in video surveillance. Although the regression-based framework has achieved great improvements for crowd counting, how to improve the discriminative power of image representation is still an open problem. Conventional holistic features used in crowd counting often fail to capture semantic attributes and spatial cues of the image. In this paper, we propose integrating semantic information into learning locality-aware feature sets for accurate crowd counting. First, with the help of convolutional neural network (CNN), the original pixel space is mapped onto a dense attribute feature map, where each dimension of the pixel-wise feature indicates the probabilistic strength of a certain semantic class. Then, locality-aware features (LAF) built on the idea of spatial pyramids on neighboring patches are proposed to explore more spatial context and local information. Finally, the traditional VLAD encoding method is extended to a more generalized form in which diverse coefficient weights are taken into consideration. Experimental results validate the effectiveness of our presented method.

研究动机与目标

• 通过引入语义信息，解决传统整体手工设计特征在人群计数中的局限性。
• 克服传统特征难以捕捉人群密度中空间上下文与局部变化的问题。
• 通过融合语义属性与空间线索，提升图像表征在人群计数中的判别能力。
• 开发一种鲁棒的特征编码方法，增强复杂、遮挡人群场景下的表征学习能力。

提出的方法

• 使用预训练的CNN构建密集的像素级语义特征图，其中每个像素的特征向量编码其属于各类语义类别（如人、道路、树木）的概率。
• 通过在语义特征图的局部区域上应用空间金字塔结构，提取局部感知特征（LAF），以编码空间上下文与局部模式。
• 提出一种改进的VLAD编码方案——W-VLAD，通过为描述子-聚类偏差分配可学习或自适应权重，提升表征的判别性。
• 利用W-VLAD将局部LAF描述子聚合为全局图像表征，用于基于回归的人群计数。
• 在最终的W-VLAD编码特征上训练回归头，以预测场景中总人数。
• 在标准人群计数基准数据集上，使用标准回归损失（如L1或L2损失）端到端优化整个流程。

实验结果

研究问题

• RQ1 像素级语义特征图能否提升人群计数中图像表征的判别能力？
• RQ2 局部感知特征（LAF）在密集人群场景中，对空间上下文与局部变化的编码效率如何？
• RQ3 在VLAD编码中引入加权系数（W-VLAD）是否能带来优于标准VLAD或整体特征的表征学习效果？
• RQ4 所提出方法能否在不同人群密度及遮挡、低可见度等挑战性条件下实现良好泛化？

主要发现

• 所提方法在UCSD数据集上达到2.41的平均绝对误差（MAE）和9.12的均方误差（MSE），性能优于或匹配当前最先进方法。
• 在Caltech 10X数据集上，方法实现1.36的MAE和3.50的MSE，表明在高度遮挡与复杂场景中仍具备强大性能。
• 消融实验表明，结合空间金字塔编码的LAF性能优于整体特征（HF）与空间金字塔池化特征（SPPF），其中LFV（LAF + VLAD）相比HF实现1.1的MAE降低。
• W-VLAD显著提升了表征质量，如图8所示，在特征空间中相似人群计数的样本聚类更紧密。
• 该方法在挑战性场景（如昏暗或杂乱背景）中泛化能力良好，但当不连贯物体（如电线杆）被误分类为“人”时，误差仍可能出现。
• 模型在Mall数据集上保持强劲性能，结果与或优于先前方法，验证了其在不同人群密度数据集上的鲁棒性。