[論文レビュー] Teacher-Students Knowledge Distillation for Siamese Trackers

Yuanpei Liu, Xingping Dong+2 more|arXiv (Cornell University)|Jul 24, 2019

Video Surveillance and Tracking Methods参考文献 55被引用数 20

ひとこと要約

本稿では、大規模で高精度な教師用トラッカーを、精度を維持または向上させつつ、小型で高速な学生用トラッカーに圧縮するための知識蒸留フレームワークを提案する。単一教師の蒸留と学生同士の知識共有を組み合わせることで、最大18倍のモデル圧縮と265 FPSの推論速度（3倍の高速化）を達成し、5つのベンチマークで最先端の性能を維持する。

ABSTRACT

In recent years, Siamese network based trackers have significantly advanced the state-of-the-art in real-time tracking. However, state-of-the-art Siamese trackers suffer from high memory cost which restricts their applicability in mobile applications having strict constraints on memory budget. To address this issue, we propose a novel distilled Siamese tracking framework to learn small, fast yet accurate trackers (students), which capture critical knowledge from large Siamese trackers (teachers) by a teacher-students knowledge distillation model. This model is intuitively inspired by a one-teacher vs multi-students learning mechanism, which is the most usual teaching method in the school. In particular, it contains a single teacher-student distillation model and a student-student knowledge sharing mechanism. The first one is designed by a tracking-specific distillation strategy to transfer knowledge from the teacher to students. The later is utilized for mutual learning between students to enable an in-depth knowledge understanding. To the best of our knowledge, we are the first to investigate knowledge distillation for Siamese trackers and propose a distilled Siamese tracking framework. We demonstrate the generality and effectiveness of our framework by conducting a theoretical analysis and extensive empirical evaluations on several popular Siamese trackers. The results on five tracking benchmarks clearly show that the proposed distilled trackers achieve compression rates up to 18$ imes$ and frame-rates of $265$ FPS with speedups of 3$ imes$, while obtaining similar or even slightly improved tracking accuracy.

研究の動機と目的

• モバイルやリソース制限のあるアプリケーションへの展開を制限する、最先端のシアンプストラッカーの高いメモリコストを解消すること。
• 大規模な教師モデルから小規模な学生モデルへの知識を転送する、蒸留されたシアンプストラッキングフレームワークの開発。
• 学生トラッカー同士の相互学習を可能にし、単一の蒸留を超えた理解の深化と性能向上を実現すること。
• 追加の精度を犠牲にすることなく、顕著なモデル圧縮と推論速度の高速化を達成すること。
• 提案された蒸留フレームワークが、複数のシアンプストラッカーのアーキテクチャにわたって一般化可能で効果的であることを実証すること。

提案手法

• 1体の大きな教師モデルが複数の小さな学生モデルを指導する、伝統的な教室教育を模倣した「1教師対複数学生」の蒸留メカニズムを設計する。
• トラッキングに特化した蒸留戦略を実装し、教師の特徴マップと分類スコアから学生ネットワークへの知識転送を実現する。
• 学生トラッカー同士の相互学習を可能にする学生同士の知識共有メカニズムを導入し、特徴表現と一般化性能の向上を図る。
• 教師から得られるソフトラベルと真のラベルの両方を用いて学生モデルを訓練し、分類と特徴一致のバランスを取る損失関数を採用する。
• 中間層から中間層への特徴レベルの蒸留を実装し、空間的および意味的情報を保持したまま、教師の層から学生の対応する層へ知識を転送する。
• 知識蒸留により性能を維持したまま、プルーニングと量子化による最適化を通し、推論効率を向上させる。

実験結果

リサーチクエスチョン

• RQ1 知識蒸留は、追加の精度低下を伴わずに、大規模なシアンプストラッカーをより小型で高速なモデルに効果的に圧縮できるか？
• RQ2 単一教師の蒸留に加えて、学生同士の知識共有を組み込むことで、性能がどのように向上するか？
• RQ3 提案されたフレームワークは、異なるシアンプストラッカーのアーキテクチャにわたって、モデルサイズの縮小と推論速度の向上をどの程度達成できるか？
• RQ4 蒸留されたトラッカーは、元の教師モデルと比較して、標準ベンチマークで精度を維持または向上させるか？
• RQ5 この蒸留フレームワークは、複数のシアンプストラッカーの変種やトラッキングベンチマークにわたって、どの程度一般化可能か？

主な発見

• 蒸留されたトラッカーは、元の教師モデルと比較して最大18倍のモデル圧縮を達成し、メモリ使用量を顕著に削減した。
• 提案されたフレームワークにより、最大265 FPSの推論速度が実現され、元のモデルと比較して3倍の高速化が達成された。
• 5つの標準トラッキングベンチマークにおいて、蒸留されたトラッカーは教師モデルと同等またはわずかに優れた精度を達成した。
• 学生同士の知識共有メカニズムは、特徴表現の向上と耐性の強化に寄与し、より優れた一般化性能をもたらした。
• 蒸留フレームワークは、複数のシアンプストラッカーのアーキテクチャにわたって有効であり、強力な一般化性と転送可能性を示した。
• 遮蔽や運動ぼやけなどの困難なトラッキング状況においても、高い精度を維持したことで、実用的な耐性が確認された。