[论文解读] Duality-Gated Mutual Condition Network for RGBT Tracking

Andong Lu, Cun Qian+3 more|arXiv (Cornell University)|Nov 14, 2020

Retinal Imaging and Analysis被引用 4

一句话总结

本文提出了一种用于RGBT跟踪的对偶门控互条件网络（DMCNet），通过利用一种模态的判别性特征作为另一模态的条件引导，增强特征表示，同时通过一种对偶门控机制抑制噪声。该方法通过有效利用低质量模态并引入基于光流的重采样策略，实现了在四个基准数据集上的最先进性能，提升了对突然相机运动的鲁棒性。

ABSTRACT

Low-quality modalities contain not only a lot of noisy information but also some discriminative features in RGBT tracking. However, the potentials of low-quality modalities are not well explored in existing RGBT tracking algorithms. In this work, we propose a novel duality-gated mutual condition network to fully exploit the discriminative information of all modalities while suppressing the effects of data noise. In specific, we design a mutual condition module, which takes the discriminative information of a modality as the condition to guide feature learning of target appearance in another modality. Such module can effectively enhance target representations of all modalities even in the presence of low-quality modalities. To improve the quality of conditions and further reduce data noise, we propose a duality-gated mechanism and integrate it into the mutual condition module. To deal with the tracking failure caused by sudden camera motion, which often occurs in RGBT tracking, we design a resampling strategy based on optical flow algorithms. It does not increase much computational cost since we perform optical flow calculation only when the model prediction is unreliable and then execute resampling when the sudden camera motion is detected. Extensive experiments on four RGBT tracking benchmark datasets show that our method performs favorably against the state-of-the-art tracking algorithms

研究动机与目标

• 解决在跟踪过程中低质量RGB和热成像模态中判别性特征未被充分利用的问题。
• 在不丢弃潜在有用信息的前提下，抑制不可靠模态中的噪声。
• 提升在突然相机运动这一常见失败情形下的跟踪鲁棒性。
• 通过条件特征学习实现在RGB和热成像流之间自适应的双向特征调制。
• 通过仅在需要时触发的智能重采样策略，在保持高精度的同时降低计算成本。

提出的方法

• 引入一种互条件模块，利用一个模态的判别性特征作为条件上下文，引导另一模态的特征学习。
• 在互条件模块中使用多尺度卷积层，以增强特征表示并捕捉空间上下文。
• 设计一种具有两个并行门控的对偶门控机制，以优化条件特征，提高条件质量并减少噪声传播。
• 引入基于光流的重采样策略，仅在模型预测置信度下降时激活，从而最小化计算开销。
• 采用双向特征调制方案，使两个模态相互引导对方的特征学习，实现鲁棒的跨模态表征。
• 在条件模块中应用移位操作，以对齐模态间的特征，提升特征融合效率。

Figure 1: Illustration of the effectiveness of our duality-gated mutual condition network (DMCNet) against a typical tracker MANet [ 12 ] on four examples in soccer , elecbike10 , car10 and soccer2 respectively. Herein, the first row represents the input RGB and thermal frames, and the second row de

实验结果

研究问题

• RQ1 能否有效利用低质量模态中的判别性特征来提升RGBT跟踪性能？
• RQ2 如何在保留有用判别信号的同时抑制低质量模态中的噪声？
• RQ3 双向条件特征学习对跟踪鲁棒性和准确性有何影响？
• RQ4 轻量级、自适应的重采样机制能否在不增加计算成本的前提下提升在突然相机运动下的跟踪性能？
• RQ5 对偶门控互条件模块的各个组件对整体性能的贡献如何？

主要发现

• DMCNet在四个RGBT跟踪基准上实现最先进性能，在RGBT234上的PR/SR分数为0.839/0.593，在GTOT上的PR/SR分数为0.909/0.733。
• 消融实验表明，对偶门控互条件模块对性能提升贡献最大，而重采样策略通过避免不必要的更新降低了时间成本。
• 移除对偶门控机制（DMC-w/o-gate）在RGBT234上使PR降低0.012，证明其在噪声抑制中的关键作用。
• DMC模块中的多尺度卷积对速度和性能影响最大，相比无该结构的变体，PR提升0.009。
• 由于GTOT使用固定相机，重采样策略未被激活，证实其在动态运动场景中的针对性应用。
• 将DMC模块替换为FiLM后性能下降（PR：0.812 vs. 0.820），证明所提出的对偶门控设计具有优越性。

Figure 2: Overall network architecture of our DMCNet. Herein, $\oplus$ , $\copyright$ denote the operations of element-wise addition and concatenation respectively.