[论文解读] A-CCNN: adaptive ccnn for density estimation and crowd counting

Saeed Amirgholipour Kasmani, Xiangjian He+3 more|arXiv (Cornell University)|Apr 19, 2018

Video Surveillance and Tracking Methods参考文献 13被引用 3

一句话总结

本文提出 A-CCNN，一种自适应计数卷积神经网络，通过根据行人大小和上下文线索动态选择局部图像块的最优超参数，提升人群计数精度。通过利用模糊推理引擎为不同区域定制 CCNN 模型，A-CCNN 在 UCSD、UCF-CC 和悉尼火车站数据集上取得最先进性能，UCSD 数据集上最低 MAE 为 1.35，UCF-CC 数据集上为 367.3。

ABSTRACT

Crowd counting, for estimating the number of people in a crowd using vision-based computer techniques, has attracted much interest in the research community. Although many attempts have been reported, real-world problems, such as huge variation in subjects' sizes in images and serious occlusion among people, make it still a challenging problem. In this paper, we propose an Adaptive Counting Convolutional Neural Network (A-CCNN) and consider the scale variation of objects in a frame adaptively so as to improve the accuracy of counting. Our method takes advantages of contextual information to provide more accurate and adaptive density maps and crowd counting in a scene. Extensively experimental evaluation is conducted using different benchmark datasets for object-counting and shows that the proposed approach is effective and outperforms state-of-the-art approaches.

研究动机与目标

• 利用深度学习解决人群计数中尺度变化与严重遮挡的挑战。
• 通过根据局部图像特征调整网络行为，提升密度图估计精度。
• 克服固定架构 CCNN 模型对所有图像区域一视同仁的局限性。
• 实现在火车站等复杂真实场景中的鲁棒、实时人群计数。
• 开发一种轻量化、自适应框架，在不增加模型复杂度的前提下，超越最先进方法。

提出的方法

• 使用基于 CNN 的行人检测模型估计输入图像中行人大小与位置。
• 采用模糊推理引擎将行人大小与空间上下文映射到最优 CCNN 超参数（块大小与 sigma）。
• 应用滑动窗口方法将输入图像划分为多个图像块，每个图像块由具有动态选择超参数的 CCNN 模型处理。
• 通过适配后的 CCNN 为每个图像块生成局部密度图，再将这些局部密度图合并为完整的全局密度图。
• 利用周围区域的上下文信息改善超参数选择，降低密集遮挡区域的误差。
• 采用基于回归的 CCNN 框架，其中真实密度图被定义为以标注行人位置为中心的二维高斯函数之和。

实验结果

研究问题

• RQ1 自适应选择 CCNN 超参数是否能提升存在大规模尺度变化场景下的密度估计性能？
• RQ2 在高度遮挡场景中，引入局部上下文信息如何影响人群计数的准确性？
• RQ3 单一统一架构是否能在不增加模型复杂度的前提下，超越多分支或切换 CNN 模型？
• RQ4 模糊推理引擎在多样化人群密度与图像分辨率下，能在多大程度上提升泛化能力？
• RQ5 自适应方法是否能在悉尼火车站视频等真实世界、低分辨率、高度可变的数据集上保持高性能？

主要发现

• A-CCNN 在 UCSD 数据集上实现最低的平均绝对误差（MAE）1.35，优于所有先前最先进方法。
• 在 UCSD 数据集上，A-CCNN 在所有子集上相比原始 CCNN 的 MAE 降低超过 8%，在缩放子集上最佳表现达 1.04。
• 在 UCF-CC 50 数据集上，A-CCNN 实现 MAE 367.3，相比原始 CCNN（488.67）提升 121.37，且优于六种对比方法中的四种。
• 在悉尼火车站数据集上，A-CCNN 实现 MAE 1.69（C5）与 1.87（C9），显著低于 CCNN 的 3.90 与 4.23，证明其对遮挡与尺度变化的鲁棒性。
• 该方法在低分辨率、极端遮挡与大尺寸差异等多种复杂条件下均保持高精度，充分证明其适应能力。
• 尽管结构简单，A-CCNN 的性能仍可匹配或超越 Switch-CNN 与 Hydra-CCNN 等复杂模型，表明其具备出色的效率与有效性。