[论文解读] Adaptive Mixture Regression Network with Local Counting Map for Crowd Counting

Xiyang Liu, Jie Yang+1 more|arXiv (Cornell University)|May 12, 2020

Video Surveillance and Tracking Methods参考文献 34被引用 11

一句话总结

本文提出一种自适应混合回归网络，引入一种新颖的局部计数图（LCM）目标，以解决人群计数中训练损失（点对点密度图误差）与评估指标（全局人群计数）之间的不一致性。通过用表示局部图像块中人数的LCM替代传统密度图，并结合自适应软区间划分模块、尺度感知模块与混合回归模块的端到端粗到细框架，该方法在ShanghaiTech数据集上实现了最先进性能，Part A的MAE降低至61.59，Part B降低至7.02。

ABSTRACT

The crowd counting task aims at estimating the number of people located in an image or a frame from videos. Existing methods widely adopt density maps as the training targets to optimize the point-to-point loss. While in testing phase, we only focus on the differences between the crowd numbers and the global summation of density maps, which indicate the inconsistency between the training targets and the evaluation criteria. To solve this problem, we introduce a new target, named local counting map (LCM), to obtain more accurate results than density map based approaches. Moreover, we also propose an adaptive mixture regression framework with three modules in a coarse-to-fine manner to further improve the precision of the crowd estimation: scale-aware module (SAM), mixture regression module (MRM) and adaptive soft interval module (ASIM). Specifically, SAM fully utilizes the context and multi-scale information from different convolutional features; MRM and ASIM perform more precise counting regression on local patches of images. Compared with current methods, the proposed method reports better performances on the typical datasets. The source code is available at https://github.com/xiyang1012/Local-Crowd-Counting.

研究动机与目标

• 解决人群计数中训练目标（密度图损失）与评估标准（全局计数总和）之间的不一致性。
• 通过引入一种新的学习目标——局部计数图（LCM），使其更贴近评估指标，从而提升计数精度。
• 设计一种自适应混合回归的粗到细框架，以增强局部与多尺度特征的利用效率。
• 通过改进的训练目标对齐与网络架构设计，在基准人群计数数据集上实现最先进性能。

提出的方法

• 提出一种新型训练目标——局部计数图（LCM），其中每个值表示图像局部块中的人数，而非密度概率。
• 设计三模块自适应混合回归框架：尺度感知模块（SAM）用于多尺度与上下文特征融合，混合回归模块（MRM）用于局部块回归，自适应软区间模块（ASIM）用于自适应区间划分。
• 采用粗到细策略：SAM从多个卷积层提取特征，生成富含上下文的表示，随后由MRM与ASIM在局部块上进行细化。
• 在ASIM中采用自适应软区间划分，根据特征置信度动态调整回归区间，提升局部估计精度。
• 使用LCM目标进行L1/L2损失训练，并通过消融实验验证各模块的贡献。
• 优化局部块大小与混合组件数量（K=3），在精度与计算成本之间实现平衡。

实验结果

研究问题

• RQ1 将密度图替换为局部计数图（LCM）作为训练目标，是否能提升与评估指标的对齐程度并改善计数精度？
• RQ2 结合SAM、MRM与ASIM模块的粗到细自适应混合回归框架，能否提升局部与全局人群计数性能？
• RQ3 局部块大小与混合组件数量（K）的选择如何影响模型的精度与效率？
• RQ4 所提方法是否在ShanghaiTech等标准人群计数基准数据集上实现最先进性能？

主要发现

• 所提方法在ShanghaiTech Part A上实现新的最先进MAE为61.59，在Part B上为7.02，显著优于先前方法。
• 基于LCM的训练目标使MAE相比基线密度图方法降低11.36（Part A上72.98 vs. 69.52），证明其与评估标准更契合。
• 消融实验表明各模块贡献呈递增趋势：MRM使MAE从69.52降至65.24，ASIM进一步降至63.85，SAM最终降至61.59（Part A）。
• 最优局部块大小为64×64，因更小尺寸（如16×16）缺乏足够上下文，而更大尺寸（如128×128）会降低精度。
• 最优混合组件数量（K）为3，因K超过此值后增益微小且模型复杂度显著上升。
• LCM训练展现出更平滑的收敛过程与更低的测试误差，损失曲线在MAE与MSE上均验证了该优势。