[论文解读] Crowd Counting using Deep Recurrent Spatial-Aware Network

Lingbo Liu, Hongjun Wang+3 more|arXiv (Cornell University)|Jul 2, 2018

Video Surveillance and Tracking Methods参考文献 23被引用 35

一句话总结

本文提出了一种深度循环空间感知网络（DRSAN），通过一种循环空间变换模块自适应地优化密度图，以应对尺度和旋转变化，从而提升人群计数性能。该方法在基准数据集上实现了最先进（SOTA）的性能，相较于之前的方法，WorldExpo’10数据集的MAE降低了12%，UCF_CC_50数据集的MAE降低了22.8%。

ABSTRACT

Crowd counting from unconstrained scene images is a crucial task in many real-world applications like urban surveillance and management, but it is greatly challenged by the camera's perspective that causes huge appearance variations in people's scales and rotations. Conventional methods address such challenges by resorting to fixed multi-scale architectures that are often unable to cover the largely varied scales while ignoring the rotation variations. In this paper, we propose a unified neural network framework, named Deep Recurrent Spatial-Aware Network, which adaptively addresses the two issues in a learnable spatial transform module with a region-wise refinement process. Specifically, our framework incorporates a Recurrent Spatial-Aware Refinement (RSAR) module iteratively conducting two components: i) a Spatial Transformer Network that dynamically locates an attentional region from the crowd density map and transforms it to the suitable scale and rotation for optimal crowd estimation; ii) a Local Refinement Network that refines the density map of the attended region with residual learning. Extensive experiments on four challenging benchmarks show the effectiveness of our approach. Specifically, comparing with the existing best-performing methods, we achieve an improvement of 12% on the largest dataset WorldExpo'10 and 22.8% on the most challenging dataset UCF_CC_50.

研究动机与目标

• 解决由于相机视角导致的非约束场景中大规模和旋转变化带来的人群计数挑战。
• 克服固定多尺度架构无法自适应处理多样化尺度和旋转变化的局限性。
• 引入一种可学习的空间变换模块，动态选择并优化密度图中的区域，以提升估计性能。
• 通过循环机制整合全局上下文与迭代式局部优化，提升人群计数的准确性。

提出的方法

• 采用循环空间感知优化（RSAR）模块，通过空间变换和残差学习，迭代优化初始人群密度图。
• 在每个LSTM步骤中集成空间变换网络（STN），基于学习到的尺度、旋转和位移参数，动态裁剪并扭曲关注区域。
• 应用局部优化网络，利用残差学习增强关注区域的密度图，以提升特征表示能力。
• 采用循环架构，最多进行30轮优化步骤，逐步细化密度图，性能在30次迭代时达到峰值。
• 引入完整图像的全局上下文信息，以指导局部优化，提升整体密度分布的感知能力。
• 使用多尺度损失端到端训练模型，以同时优化全局和局部密度估计的准确性。

实验结果

研究问题

• RQ1 可学习的空间变换模块是否能有效处理人群密度估计中的尺度和旋转变化？
• RQ2 与单次通过或固定架构方法相比，对局部区域进行循环优化是否能提升人群计数的准确性？
• RQ3 全局上下文信息的引入如何影响局部密度图优化的性能？
• RQ4 在准确性和计算成本之间取得平衡时，最优的优化迭代次数是多少？

主要发现

• 与现有最佳方法相比，所提方法在WorldExpo’10数据集上的MAE降低了12%。
• 在更具挑战性的UCF_CC_50数据集上，与最先进方法相比，MAE降低了22.8%。
• 消融实验表明，将旋转、尺度和位移同时纳入空间变换器可获得最佳性能，MAE从基线的83.1降至ShanghaiTech Part A上的69.3。
• 若移除全局上下文，性能下降，Part A上的MAE从69.3上升至74.44，证明其对准确估计的重要性。
• 循环优化机制逐步提升准确性，在30次迭代时达到峰值，Part A的MAE为69.3，Part B的MAE为11.6，40次迭代后出现轻微下降。
• 可视化对比显示，多步优化生成的密度图比初始预测更准确、更细致。