[论文解读] Exploring Fusion Strategies for Accurate RGBT Visual Object Tracking

Zhangyong Tang, Tianyang Xu+4 more|arXiv (Cornell University)|Jan 21, 2022

Advanced Image Fusion Techniques被引用 6

一句话总结

本文提出DFAT，一种用于高精度RGBT视觉目标跟踪的新决策级融合策略，该策略动态加权RGB与热成像（TIR）模态的贡献，并采用线性模板更新机制。仅在RGB数据上进行训练，DFAT在VOT-RGBT2020数据集上达到最先进性能，创下0.4178的新SOTA EAO得分，并赢得VOT-RGBT2020挑战赛。

ABSTRACT

We address the problem of multi-modal object tracking in video and explore various options of fusing the complementary information conveyed by the visible (RGB) and thermal infrared (TIR) modalities including pixel-level, feature-level and decision-level fusion. Specifically, different from the existing methods, paradigm of image fusion task is heeded for fusion at pixel level. Feature-level fusion is fulfilled by attention mechanism with channels excited optionally. Besides, at decision level, a novel fusion strategy is put forward since an effortless averaging configuration has shown the superiority. The effectiveness of the proposed decision-level fusion strategy owes to a number of innovative contributions, including a dynamic weighting of the RGB and TIR contributions and a linear template update operation. A variant of which produced the winning tracker at the Visual Object Tracking Challenge 2020 (VOT-RGBT2020). The concurrent exploration of innovative pixel- and feature-level fusion strategies highlights the advantages of the proposed decision-level fusion method. Extensive experimental results on three challenging datasets, extit{i.e.}, GTOT, VOT-RGBT2019, and VOT-RGBT2020, demonstrate the effectiveness and robustness of the proposed method, compared to the state-of-the-art approaches. Code will be shared at extcolor{blue}{\emph{https://github.com/Zhangyong-Tang/DFAT}.

研究动机与目标

• 解决在光照变化、遮挡和模糊等恶劣条件下鲁棒视觉目标跟踪的挑战。
• 通过探究像素级、特征级和决策级融合策略在RGBT跟踪中的相对有效性，克服现有融合策略的局限性。
• 开发一种决策级融合方法，利用RGB与热成像（TIR）模态之间的互补信息，而无需在配对的RGB-TIR数据上进行联合训练。
• 设计一种轻量化、高效的跟踪器，仅在RGB数据上进行训练，但在推理阶段可通过动态加权与模板更新实现TIR模态的融合。
• 在基准数据集上实现最先进性能，特别是在VOT-RGBT2020挑战赛中胜出。

提出的方法

• 提出一种决策级融合策略（DFAT），根据其归一化分类分数动态调整RGB与TIR模态的贡献。
• 引入一种动态去偏机制，以校正分类头中RGB与TIR分支之间固有的分数差异。
• 应用缩放因子以平衡分类分支与回归分支的相对影响，提升融合的鲁棒性。
• 每10帧实施一次线性模板更新机制，通过目标插值保持目标表征的准确性。
• 仅在RGB数据上训练SiamRPN++主干网络，同时将TIR图像复制到三个通道以支持热成像数据的推理。
• 采用一种避免简单平均的融合策略，基于模态置信度学习自适应权重，增强判别能力。

Figure 1: Qualitative comparison between our method (DFAT) and Baseline, with ground truth on the VOT-RGBT2019 [ 4 ] dataset. Respectively, frames sampled from video sequences bus6 , face1 , and woman89 are shown in the first, second and third rows of the figure. Here ’Baseline’ means SiamRPN++ (RGB

实验结果

研究问题

• RQ1 在RGBT跟踪中，像素级、特征级与决策级融合策略在准确率与鲁棒性方面有何差异？
• RQ2 仅在RGB数据上训练的跟踪器，是否能在推理阶段通过决策级融合与TIR融合实现更优性能？
• RQ3 对RGB与TIR贡献实施动态加权对跟踪准确率有何影响，尤其是在外观变化较大的情况下？
• RQ4 线性模板更新机制在长时间序列中维持跟踪稳定性的有效性如何？
• RQ5 在RGBT跟踪中，一种简单但自适应的决策级融合策略是否能超越复杂的特征级或像素级融合方法？

主要发现

• 所提出的DFAT跟踪器在VOT-RGBT2020数据集上取得了0.4178的最高EAO得分，创下新的最先进水平。
• 未采用去偏校正的DFAT变体（W/O bias）赢得了VOT-RGBT2020挑战赛，EAO得分为0.4073，经去偏校正后提升至0.4178。
• 在VOT-RGBT2019数据集上，DFAT的AUC达到0.6652，优于所有对比方法，包括SiamDW_T、JMMAC与mfDimp。
• 敏感性分析表明，DFAT对缩放因子具有鲁棒性，最优性能出现在0.47处，且从0.5调优至0.47仅带来0.04%的性能提升。
• 消融实验确认，动态加权与模板更新均为关键组件，移除任一均导致性能显著下降。
• 在GTOT、VOT-RGBT2019与VOT-RGBT2020上的大量实验验证了DFAT在多样化跟踪场景下的鲁棒性与泛化能力。

Figure 2: Illustration of the proposed DFAT method. Here ’Cls’ and ’Reg’ represent classification and regression branches respectively. The left part describes the architecture of the feature extraction network (’Net’). The outputs from three convolutional layers are first projected into a common sp