[论文解读] Geometry-Based Multiple Camera Head Detection in Dense Crowds

Nicola Pellicanò, Emanuel Aldea+1 more|arXiv (Cornell University)|Aug 2, 2018

Video Surveillance and Tracking Methods参考文献 18被引用 6

一句话总结

本文提出一种完全无监督、基于几何的多视角重叠摄像头方法，用于在密集人群场景中进行头部检测，利用与垂直消失点对齐的高度梯度约束进行立体MRF优化。该方法仅依赖三组视角、无需外观建模或标定，即可在大范围内实现对严重遮挡行人的鲁棒检测，在复杂户外场景中表现出高查全率与高查准率。

ABSTRACT

This paper addresses the problem of head detection in crowded environments. Our detection is based entirely on the geometric consistency across cameras with overlapping fields of view, and no additional learning process is required. We propose a fully unsupervised method for inferring scene and camera geometry, in contrast to existing algorithms which require specific calibration procedures. Moreover, we avoid relying on the presence of body parts other than heads or on background subtraction, which have limited effectiveness under heavy clutter. We cast the head detection problem as a stereo MRF-based optimization of a dense pedestrian height map, and we introduce a constraint which aligns the height gradient according to the vertical vanishing point direction. We validate the method in an outdoor setting with varying pedestrian density levels. With only three views, our approach is able to detect simultaneously tens of heavily occluded pedestrians across a large, homogeneous area.

研究动机与目标

• 解决在因遮挡和背景噪声导致传统方法失效的密集、杂乱户外人群场景中头部检测的挑战。
• 开发一种完全无监督的方法，避免依赖外观模型、背景减除或人体部位检测。
• 仅通过几何一致性与场景先验，实现在多摄像头场景下的鲁棒检测，无需人工标定或标注数据。
• 克服现有方法对脚部可见性、前景分割或光照变化下强度相关性的依赖所导致的局限性。

提出的方法

• 将头部检测建模为在密集行人高度图上进行的立体马尔可夫随机场（MRF）优化。
• 引入一种几何约束，使高度梯度方向与垂直消失点方向对齐，以确保与场景几何的一致性。
• 仅使用光度数据与几何先验——无需学习、无需外观模型、无需人工标注。
• 通过多视角之间的几何一致性，直接从数据中估计相机位姿与地面平面几何。
• 在能量最小化过程中，通过参数λ平衡光度项与几何约束。
• 利用轨迹一致性（阈值θl）过滤虚假检测，提升时间可靠性。

实验结果

研究问题

• RQ1 是否可以完全不依赖学习或外观建模，仅通过多摄像头间的几何一致性实现密集人群中的头部检测？
• RQ2 与垂直消失点对齐的高度梯度约束在提升遮挡场景下检测鲁棒性方面效果如何？
• RQ3 几何先验在多大程度上可独立实现对严重杂乱与人体部位可见度低的场景的检测？
• RQ4 正则化参数λ与轨迹阈值θl在不同人群密度下如何影响查准率与查全率？
• RQ5 该方法是否可在无需标定或人工干预的大范围均质户外区域中检测行人？

主要发现

• 仅使用三组摄像头视角，该方法即可在大范围均质区域中检测到数十名严重遮挡的行人，即使在人群密集场景下亦表现良好。
• 在Sparse序列（2969名行人）中，该方法实现了高查准率与高查全率，性能对正则化参数λ敏感。
• 在Dense序列（18,567名行人）中，该方法保持了强劲性能，仅在少数低密度帧中查准率受到轻微影响。
• 轨迹阈值θl能有效去除虚假轨迹，最优性能出现在θl = 1–3之间，超过该范围则开始产生负面影响。
• 误检主要源于低密度区域的地平面假想检测，以及单峰斑块可能将非头部物体误识别为头部。
• 由于其几何基础，该方法对光照变化与视角变化具有鲁棒性，避免了对强度相关性或前景分割的依赖。