[论文解读] A Distilled Model for Tracking and Tracker Fusion.

Matteo Dunnhofer, Niki Martinel+1 more|arXiv (Cornell University)|Jul 8, 2020

Video Surveillance and Tracking Methods参考文献 65被引用 4

一句话总结

本文提出一种蒸馏的学生模型，通过结合知识蒸馏与强化学习，统一了快速追踪、在线自适应与追踪器融合。该紧凑模型在单次推理、自适应追踪和多追踪器融合方面均实现了实时追踪的最先进性能。

ABSTRACT

Visual object tracking was generally tackled by reasoning independently on fast processing algorithms, accurate online adaptation methods, and fusion of trackers. In this paper, we unify such goals by proposing a novel tracking methodology that takes advantage of other visual trackers, offline and online. A compact student model is trained via the marriage of knowledge distillation and reinforcement learning. The first allows to transfer and compress tracking knowledge of other trackers. The second enables the learning of evaluation measures which are then exploited online. After learning, the student can be ultimately used to build (i) a very fast single-shot tracker, (ii) a tracker with a simple and effective online adaptation mechanism, (iii) a tracker that performs fusion of other trackers. Extensive validation shows that the proposed algorithms compete with state-of-the-art trackers while running in real-time.

研究动机与目标

• 通过将快速推理、在线自适应与追踪器融合统一于单一框架，解决独立追踪器设计的局限性。
• 通过将多个追踪器的知识压缩到紧凑的学生模型中，降低计算成本，同时保持追踪精度。
• 通过轻量级、可训练的模型结合离线与在线学习，实现实时追踪应用的性能。
• 通过强化学习学习动态评估指标，提升追踪器的鲁棒性与适应性。

提出的方法

• 使用知识蒸馏训练紧凑的学生模型，将多个源追踪器的追踪知识迁移至学生模型。
• 引入强化学习，学习用于推理期间在线决策的动态评估指标。
• 将蒸馏的学生模型用作统一框架，支持单次推理、在线自适应与追踪器融合。
• 利用离线知识迁移，将复杂的追踪行为压缩为轻量级架构。
• 通过学习多样化追踪策略，优化学生模型以平衡速度与精度。
• 在推理阶段应用学生模型，实现具备自适应行为与融合能力的实时追踪。

实验结果

研究问题

• RQ1 知识蒸馏与强化学习能否有效结合，以构建紧凑且高性能的追踪器？
• RQ2 蒸馏模型在保持多种追踪场景下精度的同时，能在多大程度上实现实时性能？
• RQ3 学生模型在单次推理、在线自适应与追踪器融合方面的泛化能力如何？
• RQ4 通过强化学习学习到的评估指标是否相比固定指标能提升追踪器的鲁棒性？

主要发现

• 蒸馏的学生模型在实时运行下实现了视觉目标追踪的最先进性能。
• 该模型支持极低延迟的快速单次推理，适用于实时应用。
• 强化学习的集成使无需重新训练即可实现有效的在线自适应。
• 使用学生模型进行追踪器融合相比单个追踪器，显著提升了鲁棒性与精度。
• 知识蒸馏过程成功地将复杂的追踪行为压缩为轻量级架构。
• 该模型在多样化追踪序列中表现出强大的泛化能力，在基准评估中优于现有方法。