[论文解读] Rethinking Spatial Invariance of Convolutional Networks for Object Counting

Zhi-Qi Cheng, Qi Dai+4 more|arXiv (Cornell University)|Jun 10, 2022

Video Surveillance and Tracking Methods被引用 9

一句话总结

本文挑战了传统观点，即提升空间不变性可改善目标计数性能，表明过度严格的像素级不变性会导致模型对密度图中的噪声产生过拟合。本文提出使用低秩近似的高斯卷积来放松空间不变性，从而更好地学习目标位置，在人群、车辆和植物计数的7个基准测试中实现了最先进性能。

ABSTRACT

Previous work generally believes that improving the spatial invariance of convolutional networks is the key to object counting. However, after verifying several mainstream counting networks, we surprisingly found too strict pixel-level spatial invariance would cause overfit noise in the density map generation. In this paper, we try to use locally connected Gaussian kernels to replace the original convolution filter to estimate the spatial position in the density map. The purpose of this is to allow the feature extraction process to potentially stimulate the density map generation process to overcome the annotation noise. Inspired by previous work, we propose a low-rank approximation accompanied with translation invariance to favorably implement the approximation of massive Gaussian convolution. Our work points a new direction for follow-up research, which should investigate how to properly relax the overly strict pixel-level spatial invariance for object counting. We evaluate our methods on 4 mainstream object counting networks (i.e., MCNN, CSRNet, SANet, and ResNet-50). Extensive experiments were conducted on 7 popular benchmarks for 3 applications (i.e., crowd, vehicle, and plant counting). Experimental results show that our methods significantly outperform other state-of-the-art methods and achieve promising learning of the spatial position of objects.

研究动机与目标

• 探究卷积神经网络中过度的空间不变性是否阻碍了目标计数性能。
• 分析由标注误差和卷积核重叠引起的密度图中的噪声如何影响模型的泛化能力和预测稳定性。
• 提出一种方法，通过放松严格的像素级空间不变性，以改善对真实目标位置和分布的学习。
• 证明将标准卷积替换为高斯卷积可增强对密度图噪声的鲁棒性，并提高计数精度。

提出的方法

• 用局部连接的高斯核替代标准卷积核，以在特征提取过程中更灵活地建模空间位置。
• 引入低秩近似以高效计算大规模高斯卷积，降低计算成本，同时保持空间建模能力。
• 将高斯卷积集成到现有网络（MCNN、CSRNet、SANet、ResNet-50）的关键层中，如残差块和空间金字塔池化层。
• 以端到端可微的方式应用该方法，使网络能够直接从特征学习过程中学习空间结构，而不仅在最终的密度图中体现。
• 采用多尺度高斯核大小（K），并自适应设置值（例如，残差块中K=4，空间金字塔层中K=16），以平衡性能与过拟合。
• 使用标准回归损失和学习率衰减进行训练，确保在修改归纳偏差的情况下仍具有收敛稳定性。

实验结果

研究问题

• RQ1 在CNN中增加像素级空间不变性是否真的能提升目标计数性能，还是会导致对密度图噪声的过拟合？
• RQ2 密度图生成过程中的标注误差和卷积核重叠如何影响模型预测方差和泛化能力？
• RQ3 用高斯卷积替代标准卷积是否能提升模型学习真实目标位置和分布的能力？
• RQ4 在目标计数网络中，空间不变性与空间敏感性之间的最优权衡是什么？
• RQ5 通过高斯卷积放松空间不变性是否能在多样化的计数基准上带来一致的性能提升？

主要发现

• 过度的像素级空间不变性会导致高预测方差，并对密度图中的噪声产生过拟合，即使模型的空间不变性性能被提升。
• 原始基线模型（MCNN、CSRNet、SANet、ResNet-50）在20次随机训练运行中表现出显著的预测方差，方差占总误差的约25%，即使在高密度和低密度区域也是如此。
• 消融研究在SHTech ParA、UCF-QNRF和JHU-CROWD++数据集上表明，所提出的低秩近似高斯卷积显著降低了预测方差，优于标准卷积。
• 在人群、车辆和植物计数的7个主流基准测试中，该方法在MAE和MSE指标上均实现了最先进性能，优于现有SOTA方法。
• 最优核大小（K）因网络结构而异：残差块中K=4，空间金字塔池化层中K=16，多列结构中K=2–32，表明对网络架构设计具有敏感性。
• 该方法使模型能更好地学习实际目标位置和分布，表现为定位精度提升以及对标注噪声过拟合的减少。