[论文解读] Learning Spatial Awareness to Improve Crowd Counting

Zhi-Qi Cheng, Jun-Xiu Li+3 more|arXiv (Cornell University)|Sep 16, 2019

Video Surveillance and Tracking Methods参考文献 52被引用 21

一句话总结

本文提出 SPANet，一种新颖的深度学习框架，通过引入可微分的像素级损失函数——最大像素超额（MEP）损失，实现空间感知，从而提升人群计数性能。通过采用弱监督的多分支架构生成高差异性子区域，SPANet 改进了密度图估计，在四个基准数据集上显著提升性能，并超越了当前最先进方法。

ABSTRACT

The aim of crowd counting is to estimate the number of people in images by leveraging the annotation of center positions for pedestrians' heads. Promising progresses have been made with the prevalence of deep Convolutional Neural Networks. Existing methods widely employ the Euclidean distance (i.e., $L_2$ loss) to optimize the model, which, however, has two main drawbacks: (1) the loss has difficulty in learning the spatial awareness (i.e., the position of head) since it struggles to retain the high-frequency variation in the density map, and (2) the loss is highly sensitive to various noises in crowd counting, such as the zero-mean noise, head size changes, and occlusions. Although the Maximum Excess over SubArrays (MESA) loss has been previously proposed to address the above issues by finding the rectangular subregion whose predicted density map has the maximum difference from the ground truth, it cannot be solved by gradient descent, thus can hardly be integrated into the deep learning framework. In this paper, we present a novel architecture called SPatial Awareness Network (SPANet) to incorporate spatial context for crowd counting. The Maximum Excess over Pixels (MEP) loss is proposed to achieve this by finding the pixel-level subregion with high discrepancy to the ground truth. To this end, we devise a weakly supervised learning scheme to generate such region with a multi-branch architecture. The proposed framework can be integrated into existing deep crowd counting methods and is end-to-end trainable. Extensive experiments on four challenging benchmarks show that our method can significantly improve the performance of baselines. More remarkably, our approach outperforms the state-of-the-art methods on all benchmark datasets.

研究动机与目标

• 解决 L2 损失在人群计数中的局限性，其无法保留高频空间变化，且对噪声、遮挡和头部尺寸变化敏感。
• 克服 MESA 损失的不可微性问题，尽管其在提升空间感知方面表现有效，但此前因不可微而无法集成到深度学习框架中。
• 开发一种可微分、端到端可训练的方法，以增强密度图预测中的空间感知，且无需额外标注。
• 通过聚焦预测与真实值之间的像素级差异，提升人群计数模型的准确性，特别是在高密度和遮挡区域。

提出的方法

• 提出最大像素超额（MEP）损失，用于识别预测密度图与真实密度图之间差异最大的像素级子区域。
• 设计一种基于排序的弱监督学习方案，通过生成差异掩码来指示高误差区域，而无需边界框或密集标注。
• 实现一个多分支架构，通过比较逐渐增大的感受野区域来检测显著的高差异区域，模拟显著性检测以实现空间感知。
• 以端到端可训练的方式将 MEP 损失集成到现有的基于 CNN 的人群计数模型（如 MCNN、CSRNet、SANet）中。
• 采用指数移动平均（EMA）平滑技术以稳定训练曲线并提升收敛性。
• 使用转置卷积层对预测密度图进行上采样，以提升空间分辨率并改善估计质量。

实验结果

研究问题

• RQ1 可微分的像素级损失函数是否能超越 L2 损失的局限，显著提升人群计数中的空间感知？
• RQ2 基于弱监督排序信号能否在无需密集标注的情况下有效生成有意义的高差异区域用于训练？
• RQ3 将 MEP 损失集成到现有 CNN 架构中，对基准数据集上的性能提升程度如何？
• RQ4 与基于 L2 的基线方法相比，该方法是否能减少低密度区域的过估计和高密度区域的欠估计？
• RQ5 尽管通过梯度下降可训练，MEP 损失是否能达到或超越非可微损失（如 MESA）的性能表现？

主要发现

• SPANet 在所有基线模型和数据集上显著提升了 PSNR 和 SSIM，表明密度图预测质量更高。
• 该方法减少了低密度区域的过估计和高密度区域的欠估计，96% 的测试图像在计数准确性上优于基于 L2 的基线方法。
• 在 ShanghaiTech Part A 数据集上，SPANet 相较原始 MCNN 将 MAE 最多降低 15%，且在整个训练过程中保持更低的训练和验证损失。
• 通过转置卷积层提升预测密度图分辨率可带来可测量的性能增益，当输出图与输入尺寸相匹配时，性能提升最为显著。
• 通过交叉验证确定，MCNN/SANet 的最优分支数为 H/8，CSRNet 的最优分支数为 H/16。
• 学习曲线显示，SPANet 提升了训练稳定性，在所有实验中，训练集和验证集的 MAE 均持续更低。