[论文解读] Learning Deep Multi-Level Similarity for Thermal Infrared Object Tracking

Qiao Liu, Xin Li+4 more|arXiv (Cornell University)|Jun 9, 2019

Video Surveillance and Tracking Methods参考文献 45被引用 11

一句话总结

本文提出MLSSNet，一种基于孪生网络的跟踪器，通过结合全局语义特征与局部结构特征，学习多层次相似性，实现鲁棒的热成像（TIR）目标跟踪。通过在新构建的大规模TIR数据集上进行训练，并利用基于相对熵的自适应集成方法融合这些相似性，该方法在VOT-TIR2015和VOT-TIR2017基准上取得了最先进性能，显著提升了对干扰物的判别能力。

ABSTRACT

Existing deep Thermal InfraRed (TIR) trackers only use semantic features to describe the TIR object, which lack the sufficient discriminative capacity for handling distractors. This becomes worse when the feature extraction network is only trained on RGB images.To address this issue, we propose a multi-level similarity model under a Siamese framework for robust TIR object tracking. Specifically, we compute different pattern similarities on two convolutional layers using the proposed multi-level similarity network. One of them focuses on the global semantic similarity and the other computes the local structural similarity of the TIR object. These two similarities complement each other and hence enhance the discriminative capacity of the network for handling distractors. In addition, we design a simple while effective relative entropy based ensemble subnetwork to integrate the semantic and structural similarities. This subnetwork can adaptive learn the weights of the semantic and structural similarities at the training stage. To further enhance the discriminative capacity of the tracker, we construct the first large scale TIR video sequence dataset for training the proposed model. The proposed TIR dataset not only benefits the training for TIR tracking but also can be applied to numerous TIR vision tasks. Extensive experimental results on the VOT-TIR2015 and VOT-TIR2017 benchmarks demonstrate that the proposed algorithm performs favorably against the state-of-the-art methods.

研究动机与目标

• 解决现有基于深度学习的TIR跟踪器仅依赖语义特征且在RGB数据上预训练所导致的判别能力有限的问题。
• 克服因缺乏纹理和颜色线索而导致的TIR跟踪挑战，如遮挡、外观变化和干扰物影响。
• 通过在孪生网络框架内学习全局语义与局部结构相似性，增强特征表示能力。
• 构建首个大规模人工标注的TIR视频数据集，以提升模型训练的鲁棒性与泛化能力。
• 通过多层级相似性融合与自适应加权机制，在标准TIR跟踪基准上实现最先进性能。

提出的方法

• 提出多层级相似性网络，在深层卷积层计算语义相似性，在浅层卷积层计算结构相似性，以捕捉全局与局部模式。
• 设计结构相关性相似性网络（CSN），用于提取并比较TIR目标对之间的局部结构模式。
• 设计语义CSN，利用高层特征计算全局语义相似性，实现鲁棒的目标识别。
• 引入基于相对熵的自适应集成网络（REN），在训练过程中学习语义与结构相似性的最优融合权重。
• 构建首个大规模TIR视频数据集，包含430段视频、180,000+帧以及200,000+个边界框，以支持有效模型训练。
• 使用新构建的TIR数据集端到端训练孪生网络，以提升特征判别能力与跟踪器鲁棒性。

实验结果

研究问题

• RQ1 多层级相似性学习（结合语义与结构特征）是否能提升TIR目标跟踪中的判别能力？
• RQ2 通过自适应、可学习机制融合语义与结构相似性，是否能提升复杂条件下跟踪器的性能？
• RQ3 与在RGB数据上预训练相比，在大规模专用TIR数据集上进行训练在多大程度上提升了跟踪器的鲁棒性？
• RQ4 在存在遮挡、外观变化和干扰物等多样化挑战下，所提方法在标准基准上的表现如何？
• RQ5 在多种评估指标下，该方法是否能在准确性和鲁棒性方面超越现有的SOTA TIR跟踪器？

主要发现

• 所提MLSSNet在VOT-TIR2017基准上取得0.637的EAO分数，优于所有对比的SOTA方法。
• 在VOT-TIR2015上，MLSSNet取得0.603的EAO分数，展现出在处理复杂跟踪挑战方面的卓越性能。
• 在VOT-TIR2017的动态变化与空场景挑战中表现最佳，当在新TIR数据集上训练时，EAO提升达3%。
• 在运动变化挑战中，MLSSNet在VOT-TIR2017上相比CFNet提升5%的EAO，在VOT-TIR2015上提升3%，表明对运动变化具有更强鲁棒性。
• 在尺度变化挑战中，MLSSNet在VOT-TIR2015上相比Siamese-FC提升18%的EAO，在VOT-TIR2017上提升5%，展现出优异的尺度鲁棒性。
• 可视化结果表明，MLSSNet在严重外观变化和干扰物干扰下仍能保持精确跟踪，优于Siamese-FC与HSSNet。