[论文解读] Comparative survey: People detection, tracking and multi-sensor Fusion in a video sequence

Hiliwi Leake Kidane|arXiv (Cornell University)|Jun 16, 2018

Video Surveillance and Tracking Methods参考文献 26被引用 3

一句话总结

本文对视频序列中的人体检测、跟踪及多传感器融合技术进行了比较性综述，基于检测精度、跟踪鲁棒性和融合效率评估各类方法。文章强调了卡尔曼滤波在降噪中的作用，并指出多传感器融合对于克服单传感器方法局限性的必要性，全面分析了前沿技术及其在监控和动作捕捉应用中的性能权衡。

ABSTRACT

Tracking people in a video sequence is one of the fields of interest in computer vision. It has broad applications in motion capture and surveillance. However, due to the complexity of human dynamic structure, detecting and tracking are not straightforward. Consequently, different detection and tracking techniques with different applications and performance have been developed. To minimize the noise between the prediction and measurement during tracking, Kalman filter has been used as a filtering technique. At the same time, in most cases, detection and tracking results from a single sensor is not enough to detect and track a person. To avoid this problem, using a multi-sensor fusion technique is indispensable. In this paper, a comparative survey of detection, tracking and multi-sensor fusion methods are presented.

研究动机与目标

• 分析并比较视频序列中人体检测、跟踪及多传感器融合的现有方法。
• 识别单传感器检测与跟踪系统在性能上的权衡与局限性。
• 评估卡尔曼滤波在跟踪过程中减少预测与测量之间噪声方面的有效性。
• 评估多传感器融合在提升检测与跟踪可靠性方面的必要性与影响。
• 为计算机视觉与视频处理领域的研究人员提供当前技术的结构化概览。

提出的方法

• 调研并分类视频序列中人体检测的前沿技术。
• 回顾跟踪算法，尤其关注基于卡尔曼滤波的方法在预测-测量对齐中的降噪效果。
• 分析结合多源数据以提升检测与跟踪性能的多传感器融合框架。
• 基于精度、鲁棒性、计算成本及实时适用性等指标对各类技术进行比较。
• 根据传感器类型、数据同步方式及融合层级（如特征级、决策级）评估融合策略。
• 通过9幅图示进行对比分析，展示方法差异与性能趋势。

实验结果

研究问题

• RQ1 在存在遮挡与动态背景的复杂视频序列中，不同检测方法的表现如何？
• RQ2 卡尔曼滤波在多大程度上提升了跟踪稳定性并减少了测量噪声？
• RQ3 单传感器与多传感器融合在人体跟踪中的优势与局限性分别是什么？
• RQ4 不同融合策略（如特征级与决策级）对检测与跟踪精度有何影响？
• RQ5 哪种检测、跟踪与融合技术的组合在精度与计算效率之间实现了最佳权衡？

主要发现

• 与单传感器方法相比，多传感器融合显著提升了检测与跟踪的可靠性。
• 卡尔曼滤波有效降低了预测-测量过程中的噪声，提高了跟踪的一致性。
• 即使采用先进融合技术，遮挡与复杂人体运动仍为关键挑战。
• 融合策略的选择（如特征级与决策级）对系统性能与计算负载具有可测量的影响。
• 并无单一方法在所有情况下均优于其他方法；性能高度依赖于应用场景与环境条件。
• 综述识别出对集成化、自适应融合框架的明确需求，以根据传感器质量与场景复杂度动态调整。