[論文レビュー] Uncertainty-Aware Multi-Shot Knowledge Distillation for Image-Based Object Re-Identification

Xin Jin, Cuiling Lan+2 more|arXiv (Cornell University)|Jan 15, 2020

Video Surveillance and Tracking Methods参考文献 38被引用数 5

ひとこと要約

本論文は、同一アイデンティティの複数枚の画像を活用して単一画像再識別を向上させる、不確実性を考慮したマルチショット教師-生徒（UMTS）フレームワークを提案する。入力に依存する非定常不確実性をモデル化することで、マルチショット教師ネットワークから単一画像生徒ネットワークへ包括的な特徴を distill する。推論コストに追加の負荷をかけずに、人物および車両再識別ベンチマークで最先端の性能を達成した。

ABSTRACT

Object re-identification (re-id) aims to identify a specific object across times or camera views, with the person re-id and vehicle re-id as the most widely studied applications. Re-id is challenging because of the variations in viewpoints, (human) poses, and occlusions. Multi-shots of the same object can cover diverse viewpoints/poses and thus provide more comprehensive information. In this paper, we propose exploiting the multi-shots of the same identity to guide the feature learning of each individual image. Specifically, we design an Uncertainty-aware Multi-shot Teacher-Student (UMTS) Network. It consists of a teacher network (T-net) that learns the comprehensive features from multiple images of the same object, and a student network (S-net) that takes a single image as input. In particular, we take into account the data dependent heteroscedastic uncertainty for effectively transferring the knowledge from the T-net to S-net. To the best of our knowledge, we are the first to make use of multi-shots of an object in a teacher-student learning manner for effectively boosting the single image based re-id. We validate the effectiveness of our approach on the popular vehicle re-id and person re-id datasets. In inference, the S-net alone significantly outperforms the baselines and achieves the state-of-the-art performance.

研究の動機と目的

• 画像ベース再識別の視点、ポーズ、遮蔽の大きな変動に対処すること。
• 同一アイデンティティのマルチショット画像を活用し、単一画像よりも包括的な視覚的情報を提供すること。
• マルチショット知識を単一画像再識別モデルに効果的に移譲する知識蒸留フレームワークを開発すること。
• 特徴学習の向上を図るため、入力に依存する非定常不確実性を知識蒸留に組み込むこと。
• 推論の複雑さを増加させずに最先端の性能を達成すること。

提案手法

• UMTSフレームワークは、同一アイデンティティのK枚のマルチショット画像を処理し、包括的な特徴を学習する教師ネットワーク（T-net）で構成される。
• 生徒ネットワーク（S-net）は、不確実性を考慮した知識蒸留損失（UA-KDL）を用いてT-netの出力を模倣するように訓練される。
• UA-KDLは、入力画像の品質や可視性に応じて変化する非定常不確実性を明示的にモデル化し、適応的な知識移譲を可能にする。
• 不確実性はバッチ単位で推定され、蒸留損失の重み付けに使用され、高品質で情報量の多い画像からのより信頼性の高い監視が可能になる。
• 損失はネットワークの複数の段階／層に適用され、意味的レベルにわたる特徴学習の正則化が行われる。
• 推論時には、S-netのみが使用されるため、効率性が保たれ、標準の再識別パイプラインと互換性がある。

実験結果

リサーチクエスチョン

• RQ1 同一アイデンティティのマルチショット画像は、単一画像再識別を向上させるために効果的に活用可能か？
• RQ2 マルチショット入力の不確実性をどのようにモデル化すれば、知識蒸留の効率が向上するか？
• RQ3 入力に依存する非定常不確実性を組み込むことで、再識別における特徴学習が改善されるか？
• RQ4 マルチショットデータを用いた教師-生徒フレームワークは、推論コストを増加させずにSOTA性能を達成できるか？
• RQ5 大規模ベンチマークにおいて、本手法は既存の再識別アプローチと比較してどのように差をつけるか？

主な発見

• 大規模なVERI-Wild車両再識別データセットにおいて、UMTSは95.8%のmAPを達成し、小規模セットでは2番目に良い手法より4.0%、中規模セットでは5.0%、大規模セットでは4.5%の優位性を示した。
• CUHK03（ラベル付き）人物再識別において、UMTSは80.7%のRank-1と75.5%のmAPを達成し、ResNet-50ベースラインよりmAPで7.2%の向上を示した。
• OSNetをバックボーンとして使用した場合、UMTSはCUHK03（検出済み）で78.6%のRank-1と74.1%のmAPを達成し、ベースラインよりmAPで6.3%の向上を示した。
• 可視化の結果、マルチショット知識によって誘導されたS-netは、ベースラインよりもより判別力のある領域（例：靴、バッグ、点検ステッカー）に注目していることがわかった。
• 不確実性マップは、遮蔽や低品質な画像に対して高い不確実性を示しており、モデルが蒸留中に入力を適応的に重み付けできていることを確認した。
• アブレーションスタディの結果、マルチショット知識蒸留と不確実性を考慮した損失の両方が、性能向上に不可欠であることが確認された。