[论文解读] Estimating People Flows to Better Count Them in Crowded Scenes

Weizhe Liu, Mathieu Salzmann+1 more|arXiv (Cornell University)|Nov 25, 2019

Video Surveillance and Tracking Methods参考文献 61被引用 4

一句话总结

本文提出通过估计连续帧之间的人流动态来提升人群计数的准确性，采用基于光流的密度估计方法，并施加强约束的守恒条件。通过回归流场而非直接回归密度，并利用光流的相关性，该方法在不使用更深网络的情况下实现了最先进性能，在基准数据集上将MAE降低高达21.5%。

ABSTRACT

Modern methods for counting people in crowded scenes rely on deep networks to estimate people densities in individual images. As such, only very few take advantage of temporal consistency in video sequences, and those that do only impose weak smoothness constraints across consecutive frames. In this paper, we advocate estimating people flows across image locations between consecutive images and inferring the people densities from these flows instead of directly regressing. This enables us to impose much stronger constraints encoding the conservation of the number of people. As a result, it significantly boosts performance without requiring a more complex architecture. Furthermore, it also enables us to exploit the correlation between people flow and optical flow to further improve the results. We will demonstrate that we consistently outperform state-of-the-art methods on five benchmark datasets.

研究动机与目标

• 通过比现有基于密度的方法更有效地建模时间动态，提升拥挤场景下的人群计数性能。
• 通过人流守恒强制实现强时间一致性，确保帧间无人工生成或丢失个体。
• 利用光流与人流之间的相关性进一步正则化预测，提升模型鲁棒性。
• 证明即使在标准网络架构下，基于流的估计方法也优于直接密度回归。
• 在多个基准数据集上验证该方法，并展示其在多样化拥挤场景下的稳定性能提升。

提出的方法

• 该方法将图像划分为网格，每个网格单元回归十种类型的流场：九种流向相邻单元，一种流向外部，其中一种流代表个体停留在原地。
• 通过累加每个网格位置的所有流入流，计算该位置的人群密度，从而通过流场连续性实现时间维度上人群数量的守恒。
• 提出一种新型损失函数，通过确保每个单元的净流入流与密度变化量匹配，严格强制人群守恒，其推导基于公式(1)和(3)。
• 采用基于CAN的网络从两帧连续图像中回归流场，并引入光流作为额外监督信号，以对齐运动模式。
• 该方法支持图像平面与地面平面的流场估计，当具备相机标定信息时，地面平面估计可进一步提升性能。
• 消融实验对比了基于流场的回归与直接密度回归、时间平均法以及弱守恒约束。

实验结果

研究问题

• RQ1 与直接密度回归相比，建模连续帧之间的人流动态是否能提升人群计数的准确性？
• RQ2 在帧间强制实施严格的人群守恒是否能带来更鲁棒、更准确的密度估计？
• RQ3 能否利用光流与人流之间的相关性进一步提升性能？
• RQ4 所提出的基于流场的建模范式是否能在不依赖更深或更复杂网络架构的前提下，超越现有方法？
• RQ5 该方法在不同数据集上以及在相机标定条件变化下的表现如何？

主要发现

• 与基线方法相比，该方法在UCSD数据集上将MAE降低了21.5%，从0.98降至0.81。
• 在FDST数据集上，RMSE从基线的1.26降至1.07，表明在各类指标上均实现稳定提升。
• 消融实验确认，采用强守恒约束的流场估计方法（OURS-COMBI）优于弱约束（WEAK）和直接密度回归（BASELINE）。
• 结合流场回归与光流监督的方案（OURS-COMBI）性能最佳，表明运动相关性可有效提升预测精度。
• 该方法在五个基准数据集（包括CrowdFlow、FDST和UCSD）上持续优于当前最先进方法。
• 当结合相机标定信息在地面平面进行估计时，性能进一步提升，相关结果见补充材料。