[论文解读] Multi-Resolution Fusion and Multi-scale Input Priors Based Crowd Counting

Usman Sajid, Wenchi Ma+1 more|arXiv (Cornell University)|Oct 4, 2020

Video Surveillance and Tracking Methods参考文献 37被引用 8

一句话总结

该论文提出了一种基于多分辨率融合与多尺度输入先验的行人计数网络，用三种缩放尺度的输入先验（上采样、下采样和原始尺度）替代了补丁重缩放模块（PRM），在无需行人密度分类的情况下提升了精度。该方法采用多列架构，结合列间特征融合与辅助回归头，在基准数据集上实现了最先进性能，RMSE显著提升。

ABSTRACT

Crowd counting in still images is a challenging problem in practice due to huge crowd-density variations, large perspective changes, severe occlusion, and variable lighting conditions. The state-of-the-art patch rescaling module (PRM) based approaches prove to be very effective in improving the crowd counting performance. However, the PRM module requires an additional and compromising crowd-density classification process. To address these issues and challenges, the paper proposes a new multi-resolution fusion based end-to-end crowd counting network. It employs three deep-layers based columns/branches, each catering the respective crowd-density scale. These columns regularly fuse (share) the information with each other. The network is divided into three phases with each phase containing one or more columns. Three input priors are introduced to serve as an efficient and effective alternative to the PRM module, without requiring any additional classification operations. Along with the final crowd count regression head, the network also contains three auxiliary crowd estimation regression heads, which are strategically placed at each phase end to boost the overall performance. Comprehensive experiments on three benchmark datasets demonstrate that the proposed approach outperforms all the state-of-the-art models under the RMSE evaluation metric. The proposed approach also has better generalization capability with the best results during the cross-dataset experiments.

研究动机与目标

• 解决补丁重缩放模块（PRM）的局限性，该模块需要代价高昂且不准确的行人密度分类，且每个输入补丁仅使用一次重缩放。
• 提升在多样化行人密度及遮挡、视角变化和光照变化等挑战性条件下的泛化能力。
• 用更有效、可端到端训练的输入先验机制替代PRM，同时利用上采样、下采样和原始尺度三种重缩放级别。
• 通过多列架构、特征级融合及各阶段的辅助回归头提升性能，增强训练与预测精度。

提出的方法

• 引入三种输入先验：输入补丁的上采样（I₁）、原始（I₂）和下采样（I₃）版本，直接从原始图像中提取，无需分类。
• 部署三阶段网络，包含多列分支，每列专用于特定行人密度尺度（低、中、高），实现多分辨率特征学习。
• 通过在每个阶段共享列间特征实现多分辨率融合，促进跨尺度特征增强与更优表征学习。
• 在每个阶段末端使用三个辅助回归头（RH₁、RH₂、RH₃）进行监督训练，稳定特征学习，提升最终回归性能。
• 在阶段2和阶段3中使用残差模块（RMs），每列配置两个RMs，以加深特征学习同时保持梯度流动。
• 使用最终输出头与辅助头的L1和L2损失，端到端训练整个网络，优化行人计数回归任务。

实验结果

研究问题

• RQ1 用多尺度输入先验替代PRM模块是否能在不依赖额外行人密度分类的情况下提升行人计数精度？
• RQ2 在高度多变的行人密度图像上，跨多列的多分辨率融合在多大程度上提升了性能？
• RQ3 辅助回归头在最终行人计数预测的稳定性与准确性方面起到了多大作用？
• RQ4 所提方法在跨数据集评估中是否比最先进模型具有更好的泛化能力？
• RQ5 三个输入先验（上采样、下采样和原始尺度）对模型整体性能的重要性如何？

主要发现

• 在ShanghaiTech Part-A数据集上，所提方法（v5）的RMSE为81.0，相比之前最佳结果（86.2）提升了6%，在RMSE指标下表现更优。
• 在UCF-QNRF数据集上，RMSE从305降至278（提升8.9%），MAE从219降至201（降低8.2%），表明在跨数据集评估中具有强大泛化能力。
• 在AHU-Crowd数据集上，RMSE为91.7，MAE为60.2，相比之前最先进方法RMSE提升10%，MAE降低9.6%。
• 消融实验表明，移除任意一个输入先验均导致MAE至少下降9.1%，RMSE至少下降20.1%，证明其关键作用。
• 移除任意一个辅助回归头均导致MAE至少增加11.9%，RMSE最多增加29.7%，凸显其在训练稳定性和精度中的重要性。
• 最优配置为阶段2和阶段3中每列使用两个残差模块（RMs）；若每列仅使用一个或三个RMs，性能显著下降（RMSE最高上升27.3%）。