[論文レビュー] Knowledge Distillation for End-to-End Person Search.

Bharti Munjal, Fabio Galasso+1 more|arXiv (Cornell University)|Jan 1, 2019

Video Surveillance and Tracking Methods被引用数 4

ひとこと要約

本稿では、エンド・トゥ・エンドの人物検索の性能を向上させるために知識蒸留を提案する。これは、2つの教師-生徒型蒸留手法を用いて、最適でない検出器の学習を改善することで達成される。具体的には、(1) 専用の検出器を用いた複数レベルの検出器監視、および (2) 再識別と検出を分離する新しいID特徴のルックアップテーブルを用いた蒸留である。このアプローチは2つのベンチマークで顕著な性能向上を達成し、大規模モデルと小規模モデルの間の精度格差を縮小する。

ABSTRACT

We introduce knowledge distillation for end-to-end person search. End-to-End methods are the current state-of-the-art for person search that solve both detection and re-identification jointly. These approaches for joint optimization show their largest drop in performance due to a sub-optimal detector. We propose two distinct approaches for extra supervision of end-to-end person search methods in a teacher-student setting. The first is adopted from state-of-the-art knowledge distillation in object detection. We employ this to supervise the detector of our person search model at various levels using a specialized detector. The second approach is new, simple and yet considerably more effective. This distills knowledge from a teacher re-identification technique via a pre-computed look-up table of ID features. It relaxes the learning of identification features and allows the student to focus on the detection task. This procedure not only helps fixing the sub-optimal detector training in the joint optimization and simultaneously improving the person search, but also closes the performance gap between the teacher and the student for model compression in this case. Overall, we demonstrate significant improvements for two recent state-of-the-art methods using our proposed knowledge distillation approach on two benchmark datasets. Moreover, on the model compression task our approach brings the performance of smaller models on par with the larger models.

研究の動機と目的

• 共同最適化中に最適でない検出器の学習によって引き起こされるエンド・トゥ・エンドの人物検索における性能低下を是正すること。
• 知識蒸留を用いて、エンド・トゥ・エンドの人物検索モデルの一般化性能と精度を向上させること。
• 大規模教師モデルと小規模生徒モデルを一致させることで、効果的なモデル圧縮を実現すること。
• 再識別学習を検出から分離し、生徒モデルがID特徴に過剰に適合しないようにすること。

提案手法

• 事前に学習済みの専用の物体検出器を教師として用い、生徒モデルの検出器ヘッドに対して複数の特徴レベルで知識蒸留を適用する。
• 教師の再識別モデルから事前に計算されたID特徴のルックアップテーブルを用いた、新しい蒸留手法を導入し、生徒のID埋め込み学習をガイドする。
• ルックアップテーブルを通じて最も判別力のある特徴のみを転送することで、ID特徴の監視を緩和し、生徒の再識別ヘッドの負担を軽減する。
• 検出と再識別の両方を統合的に最適化する中で、検出器とID特徴の両方の蒸留信号を統合して生徒モデルを訓練する。
• 検出と蒸留の損失を組み合わせたマルチタスク損失を用い、共同最適化と知識移転のバランスを取る。
• 小規模な生徒モデルを蒸留により学習させることでモデル圧縮を実現し、大規模教師モデルと同等の性能を達成する。

実験結果

リサーチクエスチョン

• RQ1 知識蒸留は、最適でない検出器の学習に苦しむエンド・トゥ・エンドの人物検索モデルの検出部を効果的に改善できるか？
• RQ2 事前に計算されたルックアップテーブルを用いたID特徴の蒸留は、共同検出と再識別学習における一般化性能の向上と干渉の低減に寄与するか？
• RQ3 蒸留により、人物検索における大規模教師モデルと小規模生徒モデルの性能格差を埋め合わせられるか？
• RQ4 エンド・トゥ・エンドの人物検索に適用した場合、標準的な検出器蒸留と比較して、提案手法の蒸留法はどのように優れているか？

主な発見

• 提案された蒸留手法は、2つの主要な人物検索ベンチマークで顕著な性能向上を達成した。
• 新しいルックアップテーブルベースの蒸留手法は、標準的な検出器蒸留よりも効果的であり、特に検出精度の向上に顕著な効果を示した。
• 提案手法によるモデル圧縮により、小規模な生徒モデルが大規模教師モデルと同等の性能を達成できるようになった。
• 蒸留プロセスは、共同最適化における最適でない検出器学習の悪影響を効果的に軽減し、全体の人物検索精度を向上させた。