[論文レビュー] A Distilled Model for Tracking and Tracker Fusion.

Matteo Dunnhofer, Niki Martinel+1 more|arXiv (Cornell University)|Jul 8, 2020

Video Surveillance and Tracking Methods参考文献 65被引用数 4

ひとこと要約

本論文は、知識蒸留と強化学習を組み合わせることで、高速追跡、オンライン適応、トラッカー融合を統合する、圧縮された学生モデルを提案する。得られたコンactなモデルは、1回の推論、適応的トラッキング、マルチトラッカー融合の分野において、リアルタイム追跡で最先端の性能を達成する。

ABSTRACT

Visual object tracking was generally tackled by reasoning independently on fast processing algorithms, accurate online adaptation methods, and fusion of trackers. In this paper, we unify such goals by proposing a novel tracking methodology that takes advantage of other visual trackers, offline and online. A compact student model is trained via the marriage of knowledge distillation and reinforcement learning. The first allows to transfer and compress tracking knowledge of other trackers. The second enables the learning of evaluation measures which are then exploited online. After learning, the student can be ultimately used to build (i) a very fast single-shot tracker, (ii) a tracker with a simple and effective online adaptation mechanism, (iii) a tracker that performs fusion of other trackers. Extensive validation shows that the proposed algorithms compete with state-of-the-art trackers while running in real-time.

研究の動機と目的

• 個別のトラッカー設計の限界に対処するため、高速な推論、オンライン適応、トラッカー融合を1つのフレームワークに統合すること。
• 複数のトラッカーから得られる知識をコンactな学生モデルに圧縮することで、計算コストを低減しつつ追跡精度を維持すること。
• オフラインおよびオンライン学習を活用する軽量でトレーニング可能なモデルにより、トラッキング応用におけるリアルタイム性能を実現すること。
• 強化学習を用いて動的評価指標を学習することで、トラッカーのロバスト性と適応性を向上させること。

提案手法

• 複数のソーストラッカーから追跡知識を転移するために、知識蒸留を用いてコンactな学生モデルを訓練する。
• 強化学習を統合し、推論中のオンライン意思決定を導く動的評価指標を学習する。
• 圧縮された学生モデルを、1回の推論、オンライン適応、トラッカー融合のための統合フレームワークとして使用する。
• オフラインの知識転移を活用して、複雑な追跡行動を軽量なアーキテクチャに圧縮する。
• 多様な追跡戦略から学習することで、速度と精度のバランスを最適化した学生モデルを設計する。
• 推論時に学生モデルを適用し、適応的行動と統合機能を備えたリアルタイム追跡を実現する。

実験結果

リサーチクエスチョン

• RQ1 知識蒸留と強化学習を効果的に組み合わせることで、コンactで高性能なトラッカーを構築できるか？
• RQ2 圧縮されたモデルは、多様な追跡シナリオにおいて、精度を維持したままリアルタイム性能を達成できるか？
• RQ3 学生モデルは1回の推論、オンライン適応、トラッカー統合のすべてのタスクに十分に一般化できるか？
• RQ4 強化学習で学習した評価指標は、固定指標と比較してトラッカーのロバスト性を向上させられるか？

主な発見

• 圧縮された学生モデルは、リアルタイムで動作しながらも、視覚的オブジェクト追跡で最先端の性能を達成する。
• 最小限の遅延で高速な1回の推論が可能であり、リアルタイム応用に適している。
• 強化学習の統合により、再トレーニングを必要とせずに効果的なオンライン適応が可能になる。
• 学生モデルを用いたトラッカー統合は、個々のトラッカーと比較してロバスト性と精度が向上する。
• 知識蒸留プロセスにより、複雑な追跡行動が軽量なアーキテクチャに効果的に圧縮された。
• モデルは多様な追跡シーケンスにおいて強く一般化し、ベンチマーク評価で既存手法を上回る性能を示した。