[论文解读] Learn to Match: Automatic Matching Network Design for Visual Tracking

Zhipeng Zhang, Yihao Liu+3 more|arXiv (Cornell University)|Aug 2, 2021

Video Surveillance and Tracking Methods参考文献 40被引用 12

一句话总结

该论文提出 AutoMatch，一种用于孪生视觉跟踪的自动匹配网络设计框架，用可学习的六种新型匹配算子——拼接、逐点相加、成对关系、FiLM、简易Transformer 和 传导引导——的组合替代了启发式的互相关操作，采用可微分二值通道操控（BCM）搜索算法进行搜索。该方法在 OTB100、LaSOT 和 TrackingNet 上均取得最先进性能，成功得分分别提升 4.2、5.7 和 5.7 分，同时推理速度达 50 FPS，训练数据/时间不足基线 Ocean 跟踪器的一半。

ABSTRACT

Siamese tracking has achieved groundbreaking performance in recent years, where the essence is the efficient matching operator cross-correlation and its variants. Besides the remarkable success, it is important to note that the heuristic matching network design relies heavily on expert experience. Moreover, we experimentally find that one sole matching operator is difficult to guarantee stable tracking in all challenging environments. Thus, in this work, we introduce six novel matching operators from the perspective of feature fusion instead of explicit similarity learning, namely Concatenation, Pointwise-Addition, Pairwise-Relation, FiLM, Simple-Transformer and Transductive-Guidance, to explore more feasibility on matching operator selection. The analyses reveal these operators' selective adaptability on different environment degradation types, which inspires us to combine them to explore complementary features. To this end, we propose binary channel manipulation (BCM) to search for the optimal combination of these operators. BCM determines to retrain or discard one operator by learning its contribution to other tracking steps. By inserting the learned matching networks to a strong baseline tracker Ocean, our model achieves favorable gains by $67.2 ightarrow 71.4$, $52.6 ightarrow 58.3$, $70.3 ightarrow 76.0$ success on OTB100, LaSOT, and TrackingNet, respectively. Notably, Our tracker, dubbed AutoMatch, uses less than half of training data/time than the baseline tracker, and runs at 50 FPS using PyTorch. Code and model will be released at https://github.com/JudasDie/SOTS.

研究动机与目标

• 为解决孪生跟踪中启发式匹配算子设计的局限性，即依赖专家知识且在多样化跟踪挑战下缺乏鲁棒性。
• 探索超越互相关操作的更广泛匹配算子空间，包括基于特征融合的替代方案，以提升泛化能力和抗干扰性。
• 开发一种自动搜索机制，为分类与回归分支学习最优匹配算子组合。
• 通过引入可微分、可学习的通道级操控策略，减少对人工设计的依赖，实现算子选择。
• 与强基线（如 Ocean）相比，实现更高性能，同时降低训练数据量与推理时间。

提出的方法

• 提出六种基于特征融合而非显式相似性学习的新型匹配算子：拼接、逐点相加、成对关系、FiLM、简易Transformer 和 传导引导。
• 引入二值通道操控（BCM），为每个特征通道分配一个可学习操控器，以评估其对跟踪性能的贡献。
• 使用 Gumbel-Softmax 将操控器可微分地离散化为二值决策（保留或丢弃），支持端到端训练。
• 采用双层优化方法，联合训练网络权重并基于验证集性能作为奖励信号，搜索最优匹配算子。
• 将学习到的匹配网络应用于 Ocean 跟踪器的分类与回归分支，实现任务特定的算子选择。
• 将搜索得到的匹配网络集成到基线 Ocean 跟踪器中，并使用标准孪生训练流程进行微调。

实验结果

研究问题

• RQ1 可学习的多种匹配算子组合是否能超越孪生跟踪中标准的互相关操作？
• RQ2 不同匹配算子是否对特定类型的视觉退化（如遮挡、运动模糊、背景杂乱）表现出选择性适应能力？
• RQ3 可微分的通道级搜索机制能否在无需人工设计启发式规则的情况下，有效识别最优匹配算子组合？
• RQ4 所提出的搜索方法是否能在不同跟踪基准上泛化，并在降低训练成本的同时实现更优性能？
• RQ5 所学习的匹配网络能否在实时跟踪系统中高效部署？

主要发现

• 在 OTB100 上，AutoMatch 将成功得分提升 4.2 分，从 67.2 提升至 71.4，优于基线 Ocean 跟踪器。
• 在 LaSOT 上，成功得分从 52.6 提升至 58.3，表明在长时序跟踪场景中具有更强鲁棒性。
• 在 TrackingNet 上，成功得分为 76.0，超过基线 Ocean（70.3）和基于元学习的 MAMLTrack（75.7）。
• 在 GOT10K 上，AutoMatch 在 SR 0.75 上比 Ocean 高 7.8 分，在 SR 0.5 上高 7.1 分，且推理速度达 50 FPS，优于 Ocean 的 40 FPS。
• 在 TNL2K 上，AutoMatch 在所有对比跟踪器中取得最佳成功与精度得分，证实其在多样化且具有挑战性的序列上的泛化能力。
• 消融实验证明，通道级操控器优于标量级算子选择，且随机搜索结果显著更差，验证了 BCM 搜索算法的有效性。