[论文解读] Kinects and Human Kinetics: A New Approach for Studying Crowd Behavior

Stefan Seer, Norbert Brändle+1 more|arXiv (Cornell University)|Oct 10, 2012

Video Surveillance and Tracking Methods参考文献 22被引用 13

一句话总结

本文提出使用多个微软Kinect传感器从俯视角度捕获高精度的三维行人轨迹，实现可扩展、低成本的群体行为建模数据采集。该方法实现了94%的行人检测率和4厘米的跟踪精度，成功校准并验证了三种社会力模型变体，通过引入相对速度和力的分解，显著提升了碰撞规避能力。

ABSTRACT

Modeling crowd behavior relies on accurate data of pedestrian movements at a high level of detail. Imaging sensors such as cameras provide a good basis for capturing such detailed pedestrian motion data. However, currently available computer vision technologies, when applied to conventional video footage, still cannot automatically unveil accurate motions of groups of people or crowds from the image sequences. We present a novel data collection approach for studying crowd behavior which uses the increasingly popular low-cost sensor Microsoft Kinect. The Kinect captures both standard camera data and a three-dimensional depth map. Our human detection and tracking algorithm is based on agglomerative clustering of depth data captured from an elevated view - in contrast to the lateral view used for gesture recognition in Kinect gaming applications. Our approach transforms local Kinect 3D data to a common world coordinate system in order to stitch together human trajectories from multiple Kinects, which allows for a scalable and flexible capturing area. At a testbed with real-world pedestrian traffic we demonstrate that our approach can provide accurate trajectories from three Kinects with a Pedestrian Detection Rate of up to 94% and a Multiple Object Tracking Precision of 4 cm. Using a comprehensive dataset of 2240 captured human trajectories we calibrate three variations of the Social Force model. The results of our model validations indicate their particular ability to reproduce the observed crowd behavior in microscopic simulations.

研究动机与目标

• 解决缺乏用于校准微观行人模拟模型的准确、大规模轨迹数据的问题。
• 克服传统基于视频的追踪方法的局限性，如遮挡、光照变化以及人工标注的负担。
• 开发一种低成本、可扩展的解决方案，利用消费级3D传感器捕获详细的人体运动数据。
• 实现在真实环境中跨多个Kinect传感器的自动、高精度个体追踪。
• 利用实测获取的轨迹数据对社会力模型的不同变体进行校准与验证。

提出的方法

• 利用微软Kinect传感器从高位视角捕获RGB和3D深度数据，避免游戏应用中侧视视角的限制。
• 对深度数据应用凝聚聚类算法，检测并以统一的世界坐标系对个体行人进行分组。
• 通过刚性变换将多个Kinect的深度数据对齐至统一的世界坐标系，实现轨迹拼接。
• 采用基于分层聚类的追踪算法，在时间维度上追踪检测到的行人，生成连续轨迹。
• 通过校准技术将各独立Kinect的数据映射至共享坐标系，实现多传感器轨迹融合。
• 使用人工标注的真值数据评估检测与追踪性能，包括行人检测率和多目标追踪精度。

实验结果

研究问题

• RQ1 Kinect传感器能否在真实环境中提供准确、可扩展且低成本的行人运动数据采集？
• RQ2 所提出的追踪算法在检测率和追踪精度方面与真值相比表现如何？
• RQ3 当使用实测获取的轨迹进行校准时，社会力模型的哪种变体最能再现观测到的群体行为？
• RQ4 在排斥力中引入相对速度是否能提升微观行人模拟的真实性？
• RQ5 在大规模监控场景中，跨多个Kinect的轨迹拼接能否保持高精度与一致性？

主要发现

• 在两个手动标注的真值数据集上评估，所提出系统实现了高达94%的行人检测率。
• 多目标追踪精度量化为约4厘米，表明轨迹估计具有高位置精度。
• 跨多个Kinect的轨迹拼接实现了高达98%的真正例率，证明了在多传感器融合中具有强大的性能。
• Kolmogorov-Smirnov检验表明，改进的社会力模型（引入相对速度与力的分解）模拟的行走时间分布与实测分布在0.05显著性水平下无统计学差异。
• 将排斥力分解为减速与避让分量的模型变体，与观测到的群体行为在定性和定量上均达到最佳匹配。
• 本研究成功从MIT无限走廊的真实步行实验中收集了2240条个体轨迹，构建了一个全面的校准数据集。