[论文解读] CrowdFormer: Weakly-supervised Crowd counting with Improved Generalizability

Siddharth Singh Savner, Vivek Kanhangad|arXiv (Cornell University)|Mar 7, 2022

Video Surveillance and Tracking Methods被引用 4

一句话总结

CrowdFormer 提出了一种使用金字塔视觉变换器（PVTv2）主干网络的弱监督人群计数方法，以捕捉多尺度、全局上下文特征，结合可学习特征聚合模块和简单的回归头。该方法在基准数据集上实现了最先进性能，并在跨数据集评估中展现出优越的泛化能力，优于许多全监督方法。

ABSTRACT

Convolutional neural networks (CNNs) have dominated the field of computer vision for nearly a decade due to their strong ability to learn local features. However, due to their limited receptive field, CNNs fail to model the global context. On the other hand, transformer, an attention-based architecture can model the global context easily. Despite this, there are limited studies that investigate the effectiveness of transformers in crowd counting. In addition, the majority of the existing crowd counting methods are based on the regression of density maps which requires point-level annotation of each person present in the scene. This annotation task is laborious and also error-prone. This has led to increased focus on weakly-supervised crowd counting methods which require only the count-level annotations. In this paper, we propose a weakly-supervised method for crowd counting using a pyramid vision transformer. We have conducted extensive evaluations to validate the effectiveness of the proposed method. Our method is comparable to the state-of-the-art on the benchmark crowd datasets. More importantly, it shows remarkable generalizability.

研究动机与目标

• 通过仅使用计数级别标注实现弱监督学习，以解决人群计数中点级别密度图标注的高昂成本问题。
• 通过视觉变换器建模全局上下文，提升人群计数性能，克服卷积神经网络感受野有限的局限。
• 通过在基于变换器的架构中设计多尺度特征聚合机制，提升模型在多样化人群场景下的泛化能力。
• 在与最先进全监督方法的比较中实现具有竞争力或更优的性能，尤其在跨数据集评估设置下表现更优。

提出的方法

• 采用预训练的 PVTv2 主干网络，从输入图像中提取具有全局上下文的多尺度特征。
• 引入可学习的特征聚合模块，融合金字塔视觉变换器四个阶段的特征。
• 使用简单的回归头，将聚合后的特征直接映射到最终的人群计数结果，避免对密度图进行求和。
• 采用序列到计数的映射方式进行端到端训练，无需依赖二维密度图监督。
• 利用变换器中的自注意力机制，建模图像中长距离的空间依赖关系。
• 仅使用图像级别的计数标注进行模型训练，最大限度减少对昂贵点级别标注的依赖。

Fig. 1 : The pipeline of the proposed CrowdFormer

实验结果

研究问题

• RQ1 基于视觉变换器的架构是否能在仅使用计数级别标注的情况下，实现弱监督人群计数的最先进性能？
• RQ2 与单尺度或基于CNN的方法相比，使用金字塔视觉变换器进行多尺度特征提取是否能提升在多样化人群场景下的泛化能力？
• RQ3 在跨数据集评估中，所提出的特征聚合策略与现有方法相比，在性能和鲁棒性方面表现如何？
• RQ4 在跨数据集设置下，弱监督的变换器模型是否能超越全监督模型？

主要发现

• 在 SHA 数据集上，CrowdFormer 实现了最先进性能，相比之前最佳的弱监督方法，MAE 提升 3.6%，MSE 提升 0.63%。
• 在 UCF_CC_50 数据集上，CrowdFormer 在弱监督方法中取得了最佳 MAE，较 CCTrans 提升 6.3%。
• 在跨数据集评估中，CrowdFormer 实现了最先进结果，甚至优于多个全监督方法，尤其在使用 SHA 或 QNRF 等具有挑战性的数据集进行训练时表现更优。
• 该模型展现出强大的泛化能力，当在高密度或复杂场景数据集上训练时性能更优，并能有效迁移到更简单的数据集。
• CrowdFormer 优于仅使用单尺度特征的 TransCrowd，凸显了在变换器中进行多尺度特征融合的优势。
• 该方法在多种数据集上表现稳健，包括存在极端透视失真（如 UCF_CC_50）的数据集，证实了其在真实场景中的可部署性。