[论文解读] Context-Aware Crowd Counting

Weizhe Liu, Mathieu Salzmann+1 more|arXiv (Cornell University)|Nov 26, 2018

Video Surveillance and Tracking Methods参考文献 43被引用 6

一句话总结

本文提出了一种端到端可训练的深度神经网络架构，用于人群计数，通过自适应融合多感受野特征来建模空间变化的尺度上下文，显著提升了准确性，尤其是在强透视失真条件下，通过学习每个位置的特征重要性实现。该方法在多个基准数据集上优于当前最先进模型，包括ShanghaiTech、UCF_QNRF以及一个新的具有高透视失真的威尼斯数据集。

ABSTRACT

State-of-the-art methods for counting people in crowded scenes rely on deep networks to estimate crowd density. They typically use the same filters over the whole image or over large image patches. Only then do they estimate local scale to compensate for perspective distortion. This is typically achieved by training an auxiliary classifier to select, for predefined image patches, the best kernel size among a limited set of choices. As such, these methods are not end-to-end trainable and restricted in the scope of context they can leverage. In this paper, we introduce an end-to-end trainable deep architecture that combines features obtained using multiple receptive field sizes and learns the importance of each such feature at each image location. In other words, our approach adaptively encodes the scale of the contextual information required to accurately predict crowd density. This yields an algorithm that outperforms state-of-the-art crowd counting methods, especially when perspective effects are strong.

研究动机与目标

• 解决固定感受野卷积在人群计数中的局限性，其无法考虑由于透视失真导致的空间变化尺度。
• 开发一种端到端可训练的架构，以在每个图像位置学习最优的上下文信息尺度。
• 提升高密度和透视失真场景下的密度估计准确性，尤其适用于未校准或移动相机设置。
• 在可用时整合几何校准数据，通过改进局部尺度估计进一步提升性能。

提出的方法

• 模型使用不同尺寸的多个卷积感受野提取特征，以捕捉多尺度上下文。
• 为每个尺度的特征图学习一个空间可变的可学习权重图，实现基于局部图像上下文的自适应融合。
• 引入基于对比度的加权机制来计算注意力权重，增强网络区分相关上下文尺度的能力。
• 使用标准回归损失在密度图上端到端训练网络架构，无需辅助分类器或局部块级尺度预测。
• 当存在校准数据时，该方法引入基于单应性的几何约束，以优化局部尺度估计。
• 解码器子网络利用加权的多尺度特征预测最终的人群密度图。

实验结果

研究问题

• RQ1 端到端深度学习模型能否有效自适应地组合多尺度特征，以在透视失真条件下提升人群计数性能？
• RQ2 学习空间可变的特征重要性与固定或基于块的尺度选择相比，在人群计数中表现如何？
• RQ3 在透视失真场景中，整合几何校准数据能在多大程度上提升性能？
• RQ4 基于对比度的特征加权是否能增强模型选择相关上下文尺度的能力？
• RQ5 该模型能否泛化到具有强烈透视效应的未校准真实场景？

主要发现

• 在ShanghaiTech Part A数据集上，所提方法（OURS-CAN）的MAE为23.5，RMSE为38.9，优于CSRNet（35.8 MAE）和MCNN（145.4 MAE）。
• 在UCF_QNRF数据集上，OURS-CAN的MAE为20.5，RMSE为29.9，显著优于先前的最先进方法。
• 当使用校准数据时（威尼斯数据集），OURS-ECAN进一步将MAE降低至20.5，RMSE降低至29.9，证明了几何先验的有益作用。
• 消融实验表明，特征拼接和基于对比度的加权机制均对性能有显著贡献，完整模型（OURS-CAN）远超简单基线模型。
• 可视化分析（图7）表明，模型的预测结果能正确归一化以应对透视失真，与地面真实密度在地平面保持一致。
• 该方法在高密度区域和强透视效应下表现优异，尤其在威尼斯数据集中，其透视失真明显，性能尤为突出。