[论文解读] Deformable Distributed Multiple Detector Fusion for Multi-Person Tracking

J. Andy, Pong C. Yuen+1 more|arXiv (Cornell University)|Dec 18, 2015

Video Surveillance and Tracking Methods参考文献 32被引用 6

一句话总结

本文提出了一种可变形分布式多检测器融合框架，用于在复杂且易发生遮挡的ICU环境中，利用RGBD数据实现多人跟踪。通过融合针对不同区域的检测器（例如全身和头部）的检测结果，并建模可变形的空间关系，该方法减少了漏检现象，提升了对姿态变化的鲁棒性，在真实ICU数据上实现了最先进性能。

ABSTRACT

This paper addresses fully automated multi-person tracking in complex environments with challenging occlusion and extensive pose variations. Our solution combines multiple detectors for a set of different regions of interest (e.g., full-body and head) for multi-person tracking. The use of multiple detectors leads to fewer miss detections as it is able to exploit the complementary strengths of the individual detectors. While the number of false positives may increase with the increased number of bounding boxes detected from multiple detectors, we propose to group the detection outputs by bounding box location and depth information. For robustness to significant pose variations, deformable spatial relationship between detectors are learnt in our multi-person tracking system. On RGBD data from a live Intensive Care Unit (ICU), we show that the proposed method significantly improves multi-person tracking performance over state-of-the-art methods.

研究动机与目标

• 解决在频繁遮挡和大姿态变化的复杂环境中进行多人跟踪的挑战。
• 通过利用针对不同身体区域的多个检测器提供的互补检测输出，减少跟踪过程中的漏检。
• 通过学习检测器之间的可变形空间关系，提升对姿态变化的鲁棒性。
• 通过基于空间和深度的聚类方法对多个检测器的检测结果进行分组，最小化误报。
• 在真实ICU数据上证明其性能优于最先进方法。

提出的方法

• 采用针对不同感兴趣区域（例如全身和头部）的专用检测器，生成多样化的检测输出。
• 基于边界框位置和深度信息对检测结果进行分组，以减少误报并提高检测一致性。
• 学习检测器之间的可变形空间关系，以适应跟踪过程中显著的姿态变化。
• 通过空间和深度感知的融合机制，将检测输出整合到统一的跟踪框架中，提升可靠性。
• 利用来自实时ICU环境的RGBD数据，捕捉深度线索，提升检测与跟踪的准确性。
• 在真实ICU序列上端到端训练和优化系统，以确保在临床环境中的鲁棒性。

实验结果

研究问题

• RQ1 针对不同身体区域的多个检测器是否能提升在复杂、遮挡严重的环境中的检测可靠性？
• RQ2 检测器之间的可变形空间关系如何增强在大姿态变化下的跟踪鲁棒性？
• RQ3 基于深度的检测结果分组在多检测器融合中在多大程度上减少了误报？
• RQ4 所提出的融合框架是否在真实ICU跟踪场景中优于最先进方法？
• RQ5 该系统在严重遮挡和动态姿态变化下，维持跟踪准确性的有效性如何？

主要发现

• 所提出的方法在真实ICU RGBD数据上的多人跟踪性能显著优于最先进方法。
• 融合全身和头部区域检测器可有效降低漏检率，充分发挥互补检测优势。
• 基于深度的检测结果分组能有效缓解多检测器融合中通常伴随的误报增加问题。
• 可变形空间关系建模显著提升了在显著姿态变化下的跟踪鲁棒性。
• 该系统在高遮挡和动态运动的挑战性ICU环境中表现出强大性能。
• 在真实ICU数据上的实证结果证实了所提融合框架在实际部署中的优越性。