[论文解读] Improving Object Counting with Heatmap Regulation

Shubhra Aich, Ian Stavness|arXiv (Cornell University)|Mar 14, 2018

Machine Learning and Data Classification参考文献 27被引用 28

一句话总结

本文提出热力图调节（HR），一种通过使用来自简单点标注的粗粒度真实激活图来指导和优化训练过程中类激活图（CAM），以改进单次回归模型在目标计数任务中的性能。通过将预测激活图与真实激活图之间的误差反向传播，同时结合计数损失，HR 有效抑制了误报并减少了漏报，在汽车、人群和细胞计数基准上实现了最先进性能，且计算开销极低。

ABSTRACT

In this paper, we propose a simple and effective way to improve one-look regression models for object counting from images. We use class activation map visualizations to illustrate the drawbacks of learning a pure one-look regression model for a counting task. Based on these insights, we enhance one-look regression counting models by regulating activation maps from the final convolution layer of the network with coarse ground-truth activation maps generated from simple dot annotations. We call this strategy heatmap regulation (HR). We show that this simple enhancement effectively suppresses false detections generated by the corresponding one-look baseline model and also improves the performance in terms of false negatives. Evaluations are performed on four different counting datasets --- two for car counting (CARPK, PUCPR+), one for crowd counting (WorldExpo) and another for biological cell counting (VGG-Cells). Adding HR to a simple VGG front-end improves performance on all these benchmarks compared to a simple one-look baseline model and results in state-of-the-art performance for car counting.

研究动机与目标

• 解决单次回归模型在目标计数任务中因泛化误差导致的漏检难题，尤其针对难以检测的实例以及背景区域的误激活。
• 在不依赖实例级标注的前提下，提升模型对误报和漏报的鲁棒性。
• 仅使用轻量级点标注来提升性能，其成本远低于边界框或分割掩码。
• 将一种新的训练信号——预测激活图与真实激活图之间的差异误差——整合进现有的单次计数架构中。
• 在保持最小架构改动和计算成本的前提下，在多个计数基准上实现最先进性能。

提出的方法

• 从对象位置的简单点标注中生成粗粒度的真实高斯激活图（GAM），使用预设的核大小和标准差。
• 将最终卷积层的类激活图（CAM）作为对象显著性预测结果，用于可视化和训练。
• 引入一个新的损失项，计算预测CAM与真实GAM之间的L2差异，并与标准计数损失一同反向传播。
• 在训练过程中联合优化计数损失与热力图调节损失，以实现准确的计数预测和空间紧凑、有意义的激活图。
• 应用于简单的VGG-GAP主干网络，证明该方法在无需复杂架构或繁重后处理的情况下依然有效。
• 在不同数据集（汽车、人群、细胞）中采用相同的GAM生成和损失策略，验证其泛化能力。

实验结果

研究问题

• RQ1 能否从点标注中提取一种简单、轻量的监督信号，以提升单次回归模型在目标计数任务中的性能？
• RQ2 通过使用真实GAM对类激活图进行调节，是否能有效减少目标计数模型中的误报和漏报？
• RQ3 热力图调节是否能在计算成本极低的前提下，于多个计数基准上实现最先进性能？
• RQ4 激活图正则化集成如何影响CAM的空间紧凑性和可解释性？
• RQ5 所提出方法是否在不同对象类型和具有不同实例密度与视觉特征的数据集上具备良好的泛化能力？

主要发现

• 热力图调节（HR）在四个多样化计数数据集（CARPK、PUCPR+、WorldExpo 和 VGG-Cells）上显著提升了单次回归模型的性能。
• 在CARPK数据集上，HR将MAE从基线的4.77降低至2.95（N=32），达到最先进性能。
• 在PUCPR+数据集上，HR将MAE从4.53降低至2.67（N=32），表现持续优于基线。
• 在VGG-Cells数据集上，HR将MAE从4.77降低至2.95（N=32），从4.53降低至2.67（N=50），优于包括Count-ception在内的先前方法。
• CAM可视化结果表明，HR生成的激活图更加紧凑、局部化，有效减少了阴影和背景区域的误检，同时提升了对暗色或低对比度物体的检测能力。
• 该方法仅通过一次前向传播和一个轻量级附加损失项，实现了显著性能提升，计算开销极低。