[论文解读] Multi-modal Visual Tracking: Review and Experimental Comparison

Pengyu Zhang, Dong Wang+1 more|arXiv (Cornell University)|Dec 8, 2020

Video Surveillance and Tracking Methods参考文献 110被引用 15

一句话总结

本文对多模态视觉跟踪方法进行了全面综述与实验对比，重点聚焦于RGB-D与RGB-T跟踪。提出了一套统一的分类体系，基于五个基准数据集对29种最先进跟踪器进行了评估，并识别出在模型设计与数据集构建方面提升鲁棒性与实时性能的关键挑战与未来方向。

ABSTRACT

Visual object tracking, as a fundamental task in computer vision, has drawn much attention in recent years. To extend trackers to a wider range of applications, researchers have introduced information from multiple modalities to handle specific scenes, which is a promising research prospect with emerging methods and benchmarks. To provide a thorough review of multi-modal track-ing, we summarize the multi-modal tracking algorithms, especially visible-depth (RGB-D) tracking and visible-thermal (RGB-T) tracking in a unified taxonomy from different aspects. Second, we provide a detailed description of the related benchmarks and challenges. Furthermore, we conduct extensive experiments to analyze the effectiveness of trackers on five datasets: PTB, VOT19-RGBD, GTOT, RGBT234, and VOT19-RGBT. Finally, we discuss various future directions from different perspectives, including model design and dataset construction for further research.

研究动机与目标

• 通过分析辅助模态、跟踪框架与数据集，为多模态视觉跟踪（特别是RGB-D与RGB-T跟踪）提供统一的分类体系。
• 在五个广泛使用的数据集（PTB、VOT19-RGBD、GTOT、RGBT234与VOT19-RGBT）上，对29种多模态跟踪器（14种RGB-D与15种RGB-T）进行综合且公平的评估。
• 从准确性、速度及在复杂条件下的属性表现角度，分析不同跟踪框架的优缺点。
• 识别多模态跟踪中的关键挑战，包括模态错配、大规模训练数据不足，以及对模态缺失情况缺乏充分的鲁棒性度量。
• 提出未来研究方向，涵盖模型设计（如神经架构搜索、知识蒸馏）与数据集构建（如大规模训练集、预对齐、鲁棒性评估）。

提出的方法

• 提出一种统一的分类体系，基于辅助模态、跟踪框架与数据集-度量组合，对56种多模态跟踪方法进行分类。
• 收集并基于标准化评估协议，在五个基准数据集上评估29种最先进的RGB-D与RGB-T跟踪器。
• 采用标准度量（如精度、成功率与速度）对不同属性（如遮挡、光照变化）下的跟踪器性能进行定量比较。
• 通过定性分析评估跟踪器在长期遮挡与低光照等复杂场景下的行为表现。
• 提出一种数据集构建框架，强调时空对齐与共享视觉区域裁剪，以减少错位问题。
• 探索将深度与热成像数据作为标准卷积神经网络架构（如VGGNet、ResNet）的附加输入通道的深度学习融合策略。

实验结果

研究问题

• RQ1 如何在统一的分类体系下，系统性地对RGB-D与RGB-T跟踪方法进行分类与对比？
• RQ2 在多模态设置中，不同跟踪框架（如相关滤波、孪生网络、基于CNN的模型）的相对优势与劣势是什么？
• RQ3 在标准基准上，跟踪器在遮挡、光照变化与运动模糊等多样化属性下的表现如何？
• RQ4 当前数据集的关键局限性是什么，特别是模态错配与缺乏训练子集的问题？
• RQ5 未来研究方向（尤其是模型设计与数据集构建）应如何提升多模态跟踪的鲁棒性与实时性能？

主要发现

• 在低光照与遮挡场景下，RGB-T跟踪器通常优于RGB-D跟踪器，因其热成像模态对光照变化具有更强的鲁棒性。
• 将深度与热成像数据作为附加输入通道的基于深度学习的融合方法可实现更高精度，但计算成本显著增加。
• 模态错配会显著降低跟踪器性能，如在RGBT234数据集中，粗略的边界框导致模型学习背景噪声。
• 现有基准缺乏训练子集，限制了基于深度学习的跟踪器的全部潜力，这些跟踪器常依赖小规模或合成数据进行预训练。
• 目前无任何基准明确评估模态缺失条件下的鲁棒性，凸显了性能评估中的关键空白。
• 速度优化方法（如知识蒸馏与层选择，例如Huang等人[127]）可实现高达100倍的速度提升，且精度损失不显著，表明其在实时部署方面具有巨大潜力。