[论文解读] M$^5$L: Multi-Modal Multi-Margin Metric Learning for RGBT Tracking

Zhengzheng Tu, Chun Lin+3 more|arXiv (Cornell University)|Mar 17, 2020

Video Surveillance and Tracking Methods参考文献 34被引用 5

一句话总结

该论文提出 M$^5$L，一种用于 RGBT 跟踪的多模态多间隔度量学习框架，通过结构化损失显式建模混淆正样本和负样本，提升特征判别能力。通过引入模态特定的间隔和跨模态约束，M$^5$L 在大规模基准上提升了跟踪精度，在 RGBT234 数据集上实现了 0.770 的精确率和 0.521 的成功率，优于当前最先进方法。

ABSTRACT

Classifying the confusing samples in the course of RGBT tracking is a quite challenging problem, which hasn't got satisfied solution. Existing methods only focus on enlarging the boundary between positive and negative samples, however, the structured information of samples might be harmed, e.g., confusing positive samples are closer to the anchor than normal positive samples.To handle this problem, we propose a novel Multi-Modal Multi-Margin Metric Learning framework, named M$^5$L for RGBT tracking in this paper. In particular, we design a multi-margin structured loss to distinguish the confusing samples which play a most critical role in tracking performance boosting. To alleviate this problem, we additionally enlarge the boundaries between confusing positive samples and normal ones, between confusing negative samples and normal ones with predefined margins, by exploiting the structured information of all samples in each modality.Moreover, a cross-modality constraint is employed to reduce the difference between modalities and push positive samples closer to the anchor than negative ones from two modalities.In addition, to achieve quality-aware RGB and thermal feature fusion, we introduce the modality attentions and learn them using a feature fusion module in our network. Extensive experiments on large-scale datasets testify that our framework clearly improves the tracking performance and outperforms the state-of-the-art RGBT trackers.

研究动机与目标

• 为解决 RGBT 跟踪中正常正样本常比混淆正样本更接近锚点的问题。
• 在度量学习过程中保留样本的内在结构信息（例如，混淆样本与正常样本之间的相对距离）。
• 通过减少 RGB 与热成像特征之间的域差距，提升跨模态对齐能力。
• 通过可学习的模态注意力机制提升特征融合质量。
• 开发一种显式分离混淆样本与正常样本的度量学习损失，设定明确的间隔。

提出的方法

• 提出一种多模态多间隔结构化损失（MMSL），定义三个区间：[α−β, α] 为混淆正样本，[α, α+m] 为正常正样本，[α+m, α+m+β] 为混淆负样本。
• 采用模态特定的间隔策略，以保持每种模态内混淆样本与正常样本之间的相对距离结构。
• 引入跨模态约束，对齐 RGB 与热成像模态的嵌入表示，确保跨模态正样本比负样本更接近锚点。
• 采用可学习的模态注意力模块，根据特征与目标的相关性自适应融合 RGB 与热成像特征。
• 应用类似三元组的度量学习框架，采用基于锚点的采样策略，将真实目标边界框视为锚点。
• 使用复合损失函数联合优化网络，包括 MMSL、模态特定的分类损失以及跨模态一致性损失。

实验结果

研究问题

• RQ1 显式建模混淆正样本和负样本是否能超越标准度量学习，提升 RGBT 跟踪性能？
• RQ2 保留混淆样本与正常样本之间相对距离结构是否能增强特征判别能力？
• RQ3 将混淆样本划分为定义区间的多间隔损失策略是否能提升跟踪鲁棒性？
• RQ4 跨模态约束如何影响多模态跟踪中的对齐与判别性能？
• RQ5 可学习的模态注意力机制在多大程度上提升了特征融合质量与跟踪精度？

主要发现

• 在 RGBT234 数据集上，M$^5$L 实现了 0.770 的精确率和 0.521 的成功率，优于基线方法 RT-MDNet（0.734 PR，0.483 SR）。
• 消融实验表明，注意力融合模块与 MMSL 损失均至关重要，移除任一模块均导致性能显著下降。
• 最优间隔 $m = 0.2$ 时性能最佳，相比 $m = 0$ 或 $m = 0.4$ 提升了 3% 的 PR/SR，证明了间隔选择的重要性。
• 参数 $\beta = 0.1$ 时性能最高，表明对混淆样本进行固定区间的优化是有效且对区间大小敏感的。
• 跨模态损失 $L_{cross}$ 贡献显著，在 GTOT 上使成功率提升 2.4%，在 RGBT234 上提升 2.3%（相比无此损失的消融实验）。
• 运行时分析显示，M$^5$L 在 RGBT234 上达到 14 fps，快于基线 MDNet（1 fps），同时实现了更优的精度。