[論文レビュー] Diverse Knowledge Distillation for End-to-End Person Search

Xinyu Zhang, Xinlong Wang+3 more|arXiv (Cornell University)|Dec 21, 2020

Video Surveillance and Tracking Methods被引用数 4

ひとこと要約

本稿では、事前学習済み外部Re-IDモデルを活用してエンドツーエンドの人物検索の精度を向上させる多様な知識蒸留フレームワークを提案する。推論効率を損なわず、検出誤差に強く、より識別能の高いRe-IDヘッドを実現するため、空間不変の増幅と関係意識のある蒸留を導入し、CUHK-SYSUおよびPRWで最先端のmAPを達成した。推論段階では単一モデルを用いることで、高速な推論を維持した。

ABSTRACT

Person search aims to localize and identify a specific person from a gallery of images. Recent methods can be categorized into two groups, i.e., two-step and end-to-end approaches. The former views person search as two independent tasks and achieves dominant results using separately trained person detection and re-identification (Re-ID) models. The latter performs person search in an end-to-end fashion. Although the end-to-end approaches yield higher inference efficiency, they largely lag behind those two-step counterparts in terms of accuracy. In this paper, we argue that the gap between the two kinds of methods is mainly caused by the Re-ID sub-networks of end-to-end methods. To this end, we propose a simple yet strong end-to-end network with diverse knowledge distillation to break the bottleneck. We also design a spatial-invariant augmentation to assist model to be invariant to inaccurate detection results. Experimental results on the CUHK-SYSU and PRW datasets demonstrate the superiority of our method against existing approaches -- it achieves on par accuracy with state-of-the-art two-step methods while maintaining high efficiency due to the single joint model. Code is available at: https://git.io/DKD-PersonSearch.

研究の動機と目的

• 二段階手法とエンドツーエンド手法の間の性能差を是正すること、特にRe-ID精度の面で。
• 検出ノイズと矛盾する目的関数のため、エンドツーエンドモデルにおけるRe-IDヘッドが主なボトルネックであることを特定すること。
• well-trainedな外部Re-IDモデルからの知識蒸留を用いて、エンドツーエンドのRe-IDヘッドの識別能力を向上させること。
• 画像レベルおよび特徴量レベルでの空間不変のデータ増幅を用いて、不正確な検出バウンディングボックスに対して耐性を高めること。
• 導入された外部モデルに追加の推論コストを負担させず、デプロイ時には単一の統合モデルのみに依存することで、高い推論効率を維持すること。

提案手法

• 画像レベルの空間不変増幅（ISA）を用いて外部Re-IDモデルを事前学習し、一般化性能を向上させる。
• 特徴量レベルでの空間不変増幅（FSA）を適用し、トレーニング中に特徴マップ上でずらされたRoIを生成することで、検出誤差を模倣する。
• 確率意識のあるKD、ペアワイズ関係意識のあるKD、トリプレットワイズ関係意識のあるKDの3つの知識蒸留ブランチを実装する。
• 関係意識のあるKDを用いて、外部Re-IDモデルから内部Re-IDヘッドへ、サンプルレベルの関係（類似性／非類似性など）を転送する。
• パラメータ共有を一切行わず、蒸留された知識でRe-IDヘッドをガイドするように、検出とRe-IDの両ヘッドを統合的にエンドツーエンドで学習する。
• 外部モデルの推論コストを一切負担しない単一の統合モデルに依存することで、推論効率を保証する。

実験結果

リサーチクエスチョン

• RQ1 エンドツーエンドの人物検索モデルは、推論効率が優れているにもかかわらず、なぜ二段階手法に比べて性能が劣るのか？
• RQ2 エンドツーエンドモデルにおけるRe-IDヘッドが全体の性能を制限する程度はどの程度で、そのボトルネックの原因は何か？
• RQ3 事前学習済み外部Re-IDモデルからの知識蒸留が、エンドツーエンドRe-IDヘッドの性能向上に有効に働くか？
• RQ4 空間不変のデータ増幅は、人物検索における不正確な検出バウンディングボックスに対して、どのように耐性を高めるか？
• RQ5 確率蒸留を超えて、関係意識のある知識蒸留は、Re-IDにおける特徴の識別能を向上させるか？

主な発見

• Re-IDヘッドがエンドツーエンドの人物検索における主なボトルネックである。二段階手法とエンドツーエンド手法の間で検出精度はほぼ同等であるが、Re-ID精度に顕著な差が生じる。
• CUHK-SYSUでは、本手法が93.09%のmAPを達成し、以前のSOTAエンドツーエンド手法BINet（87.88% mAP）を5.21ポイント上回った。
• PRWでは50.51%のmAPを達成し、最良の二段階手法TCTS（49.50% mAP）および他のすべてのエンドツーエンドベースラインを上回った。
• 推論速度はNAEと同等またはそれ以上で、二段階手法に比べて顕著に高速であり、高い効率性を維持した。
• アブレーションスタディの結果、外部Re-IDモデルからランダムエラージングやBNNeckを削除しても性能はわずかに低下するが、依然として最近のすべての手法を上回った。
• 大規模なギャラリーにも良好に一般化し、ギャラリー画像数が50から4000に増加してもmAPの低下はわずかであった。これは強力なスケーラビリティを示している。