[论文解读] CrowdMLP: Weakly-Supervised Crowd Counting via Multi-Granularity MLP

Mingjie Wang, Jun Zhou+2 more|arXiv (Cornell University)|Mar 15, 2022

Video Surveillance and Tracking Methods被引用 4

一句话总结

CrowdMLP 提出了一种弱监督人群计数方法，仅使用计数级别标注即可回归总人群数量，通过多粒度 MLP 回归器建模全局依赖关系，并引入自监督代理任务（Split-Counting）以提升泛化能力。其性能与最先进的人工标注位置级监督方法相当，同时消除了对昂贵密度图标注的需求。

ABSTRACT

Existing state-of-the-art crowd counting algorithms rely excessively on location-level annotations, which are burdensome to acquire. When only count-level (weak) supervisory signals are available, it is arduous and error-prone to regress total counts due to the lack of explicit spatial constraints. To address this issue, a novel and efficient counter (referred to as CrowdMLP) is presented, which probes into modelling global dependencies of embeddings and regressing total counts by devising a multi-granularity MLP regressor. In specific, a locally-focused pre-trained frontend is cascaded to extract crude feature maps with intrinsic spatial cues, which prevent the model from collapsing into trivial outcomes. The crude embeddings, along with raw crowd scenes, are tokenized at different granularity levels. The multi-granularity MLP then proceeds to mix tokens at the dimensions of cardinality, channel, and spatial for mining global information. An effective proxy task, namely Split-Counting, is also proposed to evade the barrier of limited samples and the shortage of spatial hints in a self-supervised manner. Extensive experiments demonstrate that CrowdMLP significantly outperforms existing weakly-supervised counting algorithms and performs on par with state-of-the-art location-level supervised approaches.

研究动机与目标

• 通过消除对昂贵的位置级（密度图）标注的需求，降低人群计数中的标注负担。
• 开发一种在仅有总人数标签的弱监督下仍具备良好泛化能力的鲁棒回归模型。
• 缓解因缺乏空间监督而导致的计数级别学习中性能下降问题。
• 引入一种自监督代理任务，以隐式解耦空间约束并改善特征学习。
• 通过易于获取的计数级别标注，实现可扩展的大规模数据集构建。

提出的方法

• 采用局部聚焦的预训练 CNN 前端提取具有内在空间线索的低级特征，防止模型崩溃。
• 在多个粒度级别（基数、通道、空间）对原始输入图像和特征图进行分词，形成分层的标记序列。
• 通过多粒度 MLP 回归器在不同维度间混合标记，以捕捉长程全局依赖关系并建模全局上下文。
• 引入自监督代理任务 Split-Counting，通过将图像分割为区域并预测子计数来正则化学习过程。
• 模型使用高层 MLP 头部，直接从全局嵌入预测单一连续的计数值。
• 使用 T-SNE 可视化分析学习到的特征表示，并评估按场景类型和密度的聚类情况。

Figure 1: The categories of crowd counter under distinct supervisory signals. (a) Learn from an entire set of location-level density maps. (b) Learn from density maps of partially selected images. (c) Learn from density maps of partial regions in crowd scenes. (d) Our approach learns directly from l

实验结果

研究问题

• RQ1 在弱监督下，纯 MLP 架构是否能有效建模人群计数中的全局上下文？
• RQ2 与标准 MLP 或 CNN 相比，多粒度标记混合在性能上有哪些提升？
• RQ3 在缺乏空间监督的情况下，自监督的 Split-Counting 代理任务在多大程度上减少了误差并提升了泛化能力？
• RQ4 仅在计数级别标签上训练的模型能否实现与使用完整密度图监督模型相当的性能？
• RQ5 该模型在处理多样化场景中的尺度变化、密度变化和语义差异方面表现如何？

主要发现

• CrowdMLP 在 ShanghaiTech Part A 上实现了 57.828 的平均绝对误差（MAE），与最先进的人工标注位置级监督模型性能相当。
• 在相同参数预算下，该模型优于基于 CNN（Crowd-CNN）和基于 Transformer（Crowd-Transformer）的基线模型。
• 引入 Split-Counting 代理任务后，MAE 降低 0.55%，MSE 降低 0.32%，证实其在减少经验误差方面的有效性。
• T-SNE 可视化显示，模型学习到了具有判别性的、场景感知的特征，高密度图像聚类在一起，且根据场景语义形成明显不同的组别。
• 滑动窗口推理表明，CrowdMLP 能够区分前景人群与背景，并适应单张图像中显著的尺度和密度变化。
• 该模型仅使用 26.63M 参数即实现优异性能，优于参数量更大的 36.43M 参数的基于 Transformer 的变体。

Figure 2: The overall architecture of CrowdMLP, which is featured by coarse-to-fine token streams, multi-granularity MLP, and self-supervised proxy task.