[论文解读] CrowdCLIP: Unsupervised Crowd Counting via Vision-Language Model

Dingkang Liang, Jiahao Xie+4 more|arXiv (Cornell University)|Apr 9, 2023

Video Surveillance and Tracking Methods被引用 4

一句话总结

CrowdCLIP 提出了一种无监督人群计数框架，通过在尺寸排序的人群图像块上对 CLIP 的图像编码器进行微调，并利用多模态排序损失，同时在推理阶段采用渐进式过滤策略。该方法在 UCF-QNRF 数据集上的 MAE 指标上比之前的无监督 SOTA 方法高出 35.2%，并在跨数据集设置下超越了部分完全监督模型，表现达到最先进水平。

ABSTRACT

Supervised crowd counting relies heavily on costly manual labeling, which is difficult and expensive, especially in dense scenes. To alleviate the problem, we propose a novel unsupervised framework for crowd counting, named CrowdCLIP. The core idea is built on two observations: 1) the recent contrastive pre-trained vision-language model (CLIP) has presented impressive performance on various downstream tasks; 2) there is a natural mapping between crowd patches and count text. To the best of our knowledge, CrowdCLIP is the first to investigate the vision language knowledge to solve the counting problem. Specifically, in the training stage, we exploit the multi-modal ranking loss by constructing ranking text prompts to match the size-sorted crowd patches to guide the image encoder learning. In the testing stage, to deal with the diversity of image patches, we propose a simple yet effective progressive filtering strategy to first select the highly potential crowd patches and then map them into the language space with various counting intervals. Extensive experiments on five challenging datasets demonstrate that the proposed CrowdCLIP achieves superior performance compared to previous unsupervised state-of-the-art counting methods. Notably, CrowdCLIP even surpasses some popular fully-supervised methods under the cross-dataset setting. The source code will be available at https://github.com/dk-liang/CrowdCLIP.

研究动机与目标

• 解决监督式人群计数方法中昂贵的点级标注所带来的高标注成本问题。
• 通过完全消除人工标注监督，克服现有弱监督与半监督方法的局限性。
• 探索视觉-语言预训练模型（如 CLIP）在无监督人群计数中的潜力，其中不使用任何计数级别或点级标签。
• 通过微调和结构化推理，提升零样本 CLIP 在人群计数任务上的表现。
• 开发一种鲁棒且可扩展的方法，在无需标注数据的前提下，实现对多样化人群场景的良好泛化能力。

提出的方法

• 构建用于描述尺寸排序人群图像块的排序文本提示（例如，'20'、'55'、'90'、'125'、'160'、'195'），形成多模态排序损失，用于微调图像编码器。
• 仅使用排序损失对 CLIP 的图像编码器进行微调，以增强其对人群语义和密度模式的理解能力。
• 在推理阶段应用三阶段渐进式过滤策略：(1) 粗粒度分类以选择候选图像块，(2) 精细分类以优化选择结果，(3) 通过文本嵌入相似性将图像块映射至计数区间。
• 在推理过程中固定文本编码器，以保留预训练的语言先验知识，确保图像特征与计数描述之间的稳定对齐。
• 使用 CLIP 图像编码器对图像块进行嵌入，并通过计算与计数区间文本嵌入的余弦相似度，预测最终计数结果。
• 设计图像块数量与提示配置，以在性能与鲁棒性之间取得平衡，最优性能出现在每张图像使用 4–5 个图像块时。

实验结果

研究问题

• RQ1 视觉-语言预训练模型（如 CLIP）是否能有效适应无监督人群计数任务，且完全不依赖人工标注数据？
• RQ2 零样本 CLIP 在人群计数任务中为何表现失败？其直接应用于该任务的主要限制是什么？
• RQ3 多模态排序损失如何提升图像编码器对不同密度人群图像块的区分能力？
• RQ4 在推理阶段采用渐进式过滤策略是否能降低模糊图像块（如无可见头部的图像块）的影响，并提升最终计数的准确性？
• RQ5 在仅微调图像编码器而固定文本编码器的前提下，其性能是否优于使用原始 CLIP 模型？

主要发现

• 在 UCF-QNRF 数据集上，CrowdCLIP 相较于之前的无监督 SOTA 方法 CSS-CCNN 实现了 35.2% 的 MAE 相对提升，其 MAE 为 283.3，而 CSS-CCNN 的 MAE 为 441.0。
• 在跨数据集评估中，CrowdCLIP 超过了包括 CSRNet 和 SANet 在内的多个完全监督 SOTA 方法，表明其在无任何标注数据的情况下仍具备强大的泛化能力。
• 在微调过程中固定文本编码器、仅微调图像编码器时性能最佳（MAE = 283.3），而若同时微调文本编码器则导致准确率显著下降。
• 推理阶段最优图像块数量为 4 或 5 个，对应的 MAE 分别为 283.3 和 305.2，优于零样本 CLIP（MAE = 414.7）和使用 3 个图像块的基线方法。
• 随着训练数据量的增加，性能持续提升，使用额外数据（如 ShanghaiTech Part A）可进一步提高准确率，凸显了该无监督方法的可扩展性。
• 该方法在多样化数据集上泛化良好，在五个具有挑战性的基准数据集（包括 UCF-QNRF、ShanghaiTech 和 NWPU-Crowd）上均实现了稳定提升。