[论文解读] RGBD Object Tracking: An In-depth Review

Jinyu Yang, Zhe Li+5 more|arXiv (Cornell University)|Mar 26, 2022

Video Surveillance and Tracking Methods被引用 8

一句话总结

本文对RGBD目标跟踪进行了全面综述，分析了融合策略、深度信息使用方式以及18个代表性跟踪器的跟踪框架。文章引入了新颖的评估方法，包括深度质量影响、目标消失情况下的长期性能表现，以及对输入扰动的鲁棒性，为深度友好场景提供了洞见，并指出了未来研究的开放性挑战。

ABSTRACT

RGBD object tracking is gaining momentum in computer vision research thanks to the development of depth sensors. Although numerous RGBD trackers have been proposed with promising performance, an in-depth review for comprehensive understanding of this area is lacking. In this paper, we firstly review RGBD object trackers from different perspectives, including RGBD fusion, depth usage, and tracking framework. Then, we summarize the existing datasets and the evaluation metrics. We benchmark a representative set of RGBD trackers, and give detailed analyses based on their performances. Particularly, we are the first to provide depth quality evaluation and analysis of tracking results in depth-friendly scenarios in RGBD tracking. For long-term settings in most RGBD tracking videos, we give an analysis of trackers' performance on handling target disappearance. To enable better understanding of RGBD trackers, we propose robustness evaluation against input perturbations. Finally, we summarize the challenges and provide open directions for this community. All resources are publicly available at https://github.com/memoryunreal/RGBD-tracking-review.

研究动机与目标

• 基于深度使用方式、融合策略和跟踪框架，对RGBD目标跟踪方法进行系统性分类。
• 在混合数据集上对18个代表性RGBD跟踪器进行基准测试，以评估其在多样化场景下的性能表现。
• 研究深度数据质量对跟踪性能的影响，特别是在深度有利条件下的表现。
• 分析跟踪器在长期设置下的行为，尤其关注目标消失与重新出现期间的表现。
• 评估RGBD跟踪器对空间与时间输入扰动的鲁棒性，这一领域此前尚未被充分探索。

提出的方法

• 基于深度使用方式（如外观特征与几何线索）、融合机制（如早期融合、晚期融合或学习型融合）以及跟踪框架（如相关滤波器、孪生网络）提出多维分类体系。
• 通过整合多个基准的公开序列，构建一个混合RGBD数据集，以支持公平且全面的评估。
• 采用统一的评估协议，对18个最先进的RGBD跟踪器在标准指标和新型测试中进行基准测试。
• 通过分析深度图保真度与深度有利场景下跟踪准确率之间的相关性，引入深度质量评估。
• 通过基于属性的测试与时间鲁棒性测试，测量目标遮挡与重新出现期间的性能，开展长期跟踪分析。
• 通过向输入的RGB流与深度流施加受控的空间与时间扰动，测量性能下降情况，开展鲁棒性评估。

实验结果

研究问题

• RQ1 深度信息如何具体提升目标跟踪性能？在哪些场景下其优势最为显著？
• RQ2 深度图质量在真实条件下如何影响RGBD跟踪器的性能表现？
• RQ3 RGBD跟踪器如何应对长期跟踪挑战，特别是目标消失与重新捕获的问题？
• RQ4 当前RGBD跟踪模型对输入扰动（包括空间与时间噪声）的鲁棒性如何？
• RQ5 当前数据集、评估协议与模型设计在推动RGBD跟踪发展方面存在哪些关键局限？

主要发现

• 深度质量显著影响跟踪性能，低质量深度图会导致更高的失败率，尤其在复杂或杂乱场景中更为明显。
• 跟踪器在深度友好场景中表现更优——如存在明显深度不连续性或稳定深度梯度的场景——证实了深度信息在遮挡推理中的价值。
• 在目标消失期间，长期跟踪性能显著下降，大多数跟踪器在长时间遮挡后无法重新捕获目标，凸显了这一关键局限。
• 深度RGBD跟踪器对输入扰动极为敏感，即使轻微的空间或时间噪声也会导致性能显著下降，表明其鲁棒性较差。
• 当前评估协议缺乏标准化，指标在不同数据集间差异较大，且未能捕捉长期行为或鲁棒性，亟需建立统一基准。
• 模型效率仍是关键问题，大多数RGBD跟踪器无法满足实时性要求，未来需开发轻量化架构以支持实际部署。