[论文解读] Motion-guided Non-local Spatial-Temporal Network for Video Crowd Counting

Haoyue Bai, S.-H. Gary Chan|arXiv (Cornell University)|Apr 28, 2021

Video Surveillance and Tracking Methods参考文献 32被引用 4

一句话总结

本文提出 Monet，一种用于视频人群计数的运动引导非局部时空神经网络，通过光流引导粗略分割行人区域，并利用非局部网络捕捉短程与远程的空间-时间上下文。Monet 在 VidCrowd、Mall 和 UCSD 数据集上达到最先进性能，在 UCSD 数据集上实现 1.54 MAE，在具有挑战性的 VidCrowd 数据集上实现 1.17 MAE，同时引入一个新的大规模视频人群计数数据集 VidCrowd，包含 9,000 幅高分辨率图像和 115 万个头部标注。

ABSTRACT

We study video crowd counting, which is to estimate the number of objects (people in this paper) in all the frames of a video sequence. Previous work on crowd counting is mostly on still images. There has been little work on how to properly extract and take advantage of the spatial-temporal correlation between neighboring frames in both short and long ranges to achieve high estimation accuracy for a video sequence. In this work, we propose Monet, a novel and highly accurate motion-guided non-local spatial-temporal network for video crowd counting. Monet first takes people flow (motion information) as guidance to coarsely segment the regions of pixels where a person may be. Given these regions, Monet then uses a non-local spatial-temporal network to extract spatial-temporally both short and long-range contextual information. The whole network is finally trained end-to-end with a fused loss to generate a high-quality density map. Noting the scarcity and low quality (in terms of resolution and scene diversity) of the publicly available video crowd datasets, we have collected and built a large-scale video crowd counting datasets, VidCrowd, to contribute to the community. VidCrowd contains 9,000 frames of high resolution (2560 x 1440), with 1,150,239 head annotations captured in different scenes, crowd density and lighting in two cities. We have conducted extensive experiments on the challenging VideoCrowd and two public video crowd counting datasets: UCSD and Mall. Our approach achieves substantially better performance in terms of MAE and MSE as compared with other state-of-the-art approaches.

研究动机与目标

• 为解决视频人群计数中空间-时间相关性建模不足的问题，特别是跨帧的长程依赖性。
• 通过将运动信息（光流）作为行人区域定位的空间先验，提升估计精度。
• 开发一种深度学习框架，联合捕捉局部与非局部的空间-时间上下文，用于密度图回归。
• 通过创建并发布一个新的大规模、高分辨率数据集，缓解现有视频人群计数数据集稀缺与质量低下的问题。
• 通过多样化场景、光照条件与人群密度，建立视频人群计数的新基准。

提出的方法

• 该方法首先使用光流进行运动估计，生成运动向量，将视频帧分割为可能包含人群的区域，作为空间先验。
• 在连续帧上应用非局部时空网络，由基于运动的分割引导，以提取空间与时间维度上的局部（短程）与非局部（远程）上下文特征。
• 网络使用级联细化模块，逐步优化预测的密度图，整合运动引导与非局部上下文信息。
• 采用融合损失函数，结合多种监督信号，实现端到端训练，提升密度图质量与计数精度。
• 该框架在新收集的 VidCrowd 数据集上进行训练与评估，该数据集包含 9,000 幅高分辨率（2560×1440）图像，涵盖 20 种多样化场景，共 1,150,239 个头部标注。

实验结果

研究问题

• RQ1 如何有效利用运动信息（光流）来引导视频帧中行人区域的定位，以提升人群计数性能？
• RQ2 非局部时空网络在多大程度上能够捕捉视频序列中的长程依赖性，从而提升人群计数精度？
• RQ3 一种结合运动引导与非局部建模的统一深度学习框架，是否能在具有挑战性的基准上超越现有基于视频的人群计数方法？
• RQ4 所提出的 Monet 模型在包含多样化真实世界条件的新大规模高分辨率视频人群计数数据集上的表现如何？

主要发现

• Monet 在 UCSD 数据集上实现 1.54 MAE 和 2.02 MSE，优于所有先前基于视频的方法，并在该基准上达到最先进性能。
• 在新引入的 VidCrowd 数据集上，Monet 实现 1.17 MAE 和 1.45 MSE，显著优于所有对比方法，包括 MCNN、CSRNet、SACANet 和 ConvLSTM。
• 消融实验表明，运动引导与非局部时空模块均至关重要：移除任一模块均导致性能显著下降，验证了其互补作用。
• 所提出的 Monet 框架在 Mall 数据集上也达到最先进结果，实现 2.10 MAE 和 7.60 MSE，超越所有现有基于视频的计数模型。
• 新发布的 VidCrowd 数据集包含 9,000 幅高分辨率图像与 1,150,239 个头部标注，相比现有数据集更具多样性与挑战性，涵盖多样化场景、光照条件与人群密度。