[论文解读] Temporal Aggregation for Adaptive RGBT Tracking

Zhangyong Tang, Tianyang Xu+1 more|arXiv (Cornell University)|Jan 22, 2022

Video Surveillance and Tracking Methods被引用 13

一句话总结

该论文提出TAAT，一种新颖的RGBT跟踪框架，通过引入时间信息的时序交互聚合模块（TIAM）和轻量级DFM网络实现自适应决策级融合，提升鲁棒性。通过结合时空外观建模与模态特定响应加权，TAAT在VOT-RGBT2019、GTOT和RGBT210上实现最先进性能，VOT-RGBT2019上EAO得分为0.4164，较基线提升2.84%。

ABSTRACT

Visual object tracking with RGB and thermal infrared (TIR) spectra available, shorted in RGBT tracking, is a novel and challenging research topic which draws increasing attention nowadays. In this paper, we propose an RGBT tracker which takes spatio-temporal clues into account for robust appearance model learning, and simultaneously, constructs an adaptive fusion sub-network for cross-modal interactions. Unlike most existing RGBT trackers that implement object tracking tasks with only spatial information included, temporal information is further considered in this method. Specifically, different from traditional Siamese trackers, which only obtain one search image during the process of picking up template-search image pairs, an extra search sample adjacent to the original one is selected to predict the temporal transformation, resulting in improved robustness of tracking performance.As for multi-modal tracking, constrained to the limited RGBT datasets, the adaptive fusion sub-network is appended to our method at the decision level to reflect the complementary characteristics contained in two modalities. To design a thermal infrared assisted RGB tracker, the outputs of the classification head from the TIR modality are taken into consideration before the residual connection from the RGB modality. Extensive experimental results on three challenging datasets, i.e. VOT-RGBT2019, GTOT and RGBT210, verify the effectiveness of our method. Code will be shared at extcolor{blue}{\emph{https://github.com/Zhangyong-Tang/TAAT}}.

研究动机与目标

• 通过引入超越静态空间外观建模的时序上下文，提升RGBT跟踪的鲁棒性。
• 通过避免深层复杂融合网络，改用轻量级自适应决策级融合，应对RGBT数据集有限的挑战。
• 通过在决策层设计模态自适应融合机制，减少对像素级或特征级融合的依赖，后者易受错位和噪声影响。
• 验证时序建模在长时序和复杂序列中显著提升跟踪性能。

提出的方法

• 提出时序交互聚合模块（TIAM），学习连续搜索图像之间的时序变换，以超越单帧空间特征的外观建模。
• 采用轻量级决策融合模块（DFM）在决策层实现自适应、模态感知的融合，其中RGB和TIR分支的分类得分根据模态置信度动态加权。
• 使用类Siamese跟踪主干网络，通过双流特征提取处理RGB和TIR输入，随后通过颈部模块进行特征精炼。
• 采用两阶段跟踪头：第一阶段，模态特定分类头生成响应图；第二阶段，DFM通过可学习注意力机制融合这些响应图，生成最终预测。
• DFM设计为多层感知机结构，输入为双模态得分，输出为加权组合，实现动态融合。
• 端到端训练整个网络，分类头使用交叉熵损失，优化跨模态和时间的准确且鲁棒的目标定位。

实验结果

研究问题

• RQ1 在连续帧之间引入时序上下文是否能超越静态外观建模，提升RGBT跟踪的鲁棒性？
• RQ2 在低数据RGBT跟踪场景中，自适应决策级融合是否优于传统的特征级或像素级融合？
• RQ3 轻量级可学习融合模块（DFM）在无需复杂网络深度的前提下，是否能有效利用RGB与TIR模态的互补线索？
• RQ4 时序建模在多大程度上降低了对遮挡和背景杂波的敏感性，尤其在复杂跟踪序列中？
• RQ5 在标准RGBT基准上，一种简单但有效的决策层融合策略是否能实现最先进性能？

主要发现

• 在VOT-RGBT2019上，TAAT取得0.4164的EAO得分，较基线提升2.84%，证明时序建模的有效性。
• 仅DFM组件在VOT-RGBT2019上即提升EAO 1.22%，证实自适应、模态感知融合优于简单平均。
• TIAM与DFM结合实现最佳性能，在GTOT上较基线提升1.8%，验证时序与自适应融合的协同效应。
• 定性结果表明，DFM通过利用互补的热成像与RGB线索，有效抑制了遮挡或杂乱场景中的误报。
• 消融实验确认TIAM与DFM均不可或缺：任一模块移除均导致性能显著下降，尤其在长时序跟踪和复杂场景中。
• 分类损失可视化显示，DFM生成的响应图更清晰、更具判别性，尤其在某一模态退化时（如低光照下的RGB或遮挡场景）表现更优。