[論文レビュー] Semi-Supervised Domain Generalizable Person Re-Identification

Lingxiao He, Wu Liu+5 more|arXiv (Cornell University)|Aug 11, 2021

Video Surveillance and Tracking Methods参考文献 53被引用数 9

ひとこと要約

本論文は、弱教師ありのYouTube-Humanデータ（300万枚以上）と17のラベル付きデータセットを組み合わせて、ドメイン一般化可能な人物再識別モデルを学習する半教師付き知識蒸留（SSKD）フレームワークを提案する。未ラベルデータからのソフト偽ラベルを用いた教師-生徒の知識蒸留設定により、Market1501、DukeMTMC、MSMT17といった未学習ドメインにおいて、教師あり学習と同等の性能を達成し、新しいドメインのラベル付きデータを必要とせずに一般化性能を顕著に向上させた。

ABSTRACT

Existing person re-identification (re-id) methods are stuck when deployed to a new unseen scenario despite the success in cross-camera person matching. Recent efforts have been substantially devoted to domain adaptive person re-id where extensive unlabeled data in the new scenario are utilized in a transductive learning manner. However, for each scenario, it is required to first collect enough data and then train such a domain adaptive re-id model, thus restricting their practical application. Instead, we aim to explore multiple labeled datasets to learn generalized domain-invariant representations for person re-id, which is expected universally effective for each new-coming re-id scenario. To pursue practicability in real-world systems, we collect all the person re-id datasets (20 datasets) in this field and select the three most frequently used datasets (i.e., Market1501, DukeMTMC, and MSMT17) as unseen target domains. In addition, we develop DataHunter that collects over 300K+ weak annotated images named YouTube-Human from YouTube street-view videos, which joins 17 remaining full labeled datasets to form multiple source domains. On such a large and challenging benchmark called FastHuman (~440K+ labeled images), we further propose a simple yet effective Semi-Supervised Knowledge Distillation (SSKD) framework. SSKD effectively exploits the weakly annotated data by assigning soft pseudo labels to YouTube-Human to improve models' generalization ability. Experiments on several protocols verify the effectiveness of the proposed SSKD framework on domain generalizable person re-id, which is even comparable to supervised learning on the target domains. Lastly, but most importantly, we hope the proposed benchmark FastHuman could bring the next development of domain generalizable person re-id algorithms.

研究の動機と目的

• 人物再識別において、新しい展開ドメインからのラベル付きデータを必要としないという実用的制限を解消すること。
• ドメイン固有のファインチューニングに依存せずに、未学習ドメインへの一般化性能を向上させること。
• 実世界のシナリオから得られる多様な画像440万枚以上を含む、スケーラブルな大規模ベンチマーク（FastHuman）を構築すること。
• 弱教師ありのウェブデータ（YouTube-Human）が、半教師付き知識蒸留を用いてドメイン一般化を強化する有効性を検証すること。
• ドメイン一般化可能な人物再識別分野の研究を加速するために、新規ベンチマークとコードベースを提供すること。

提案手法

• ラベル付きデータと、未ラベルのYouTube-Humanデータ上で教師モデルが生成するソフト偽ラベルを用いて、学生モデルを学習する半教師付き知識蒸留フレームワーク（SSKD）を提案する。
• 教師モデル（例：ResNet-101 や ResNeSt-269）を用いて未ラベルのYouTube-Human画像に対してソフト予測を生成し、それを学生モデルの監督信号として用いる。
• 二重監督戦略を実装：学生モデルはラベル付きデータからのハードラベルと、未ラベルデータにおける教師の予測からのソフトラベルの両方で学習される。
• スパースコーディングを用いて特徴を再構築する空間再構成ヘッド（DSR）を導入し、遮蔽やドメインシフトに強い特徴の判別能を向上させる。
• 17のラベル付きデータセットとYouTube-Humanを統合して、82台のカメラと38,000人以上の被験者を含む、合計440万枚以上の画像を有する大規模ベンチマークFastHumanを構築する。
• YouTubeストリートビュービデオから弱教師ありの人物画像を自動収集するDataHunterという自動化システムを開発し、ドメイン一般化に向けたスケーラブルなデータ収集を可能にする。

実験結果

リサーチクエスチョン

• RQ1 YouTubeから得た弱教師ありのウェブデータは、人物再識別モデルのドメイン一般化性能を向上させることができるか？
• RQ2 ドメイン固有のファインチューニングなしに、未ラベルデータを活用する半教師付き知識蒸留は、未学習ドメインへの一般化にどの程度効果的か？
• RQ3 教師ネットワークの容量（例：教師モデルの深さ）は、SSKDフレームワークにおける学生モデルの一般化性能にどのような影響を与えるか？
• RQ4 未ラベルデータの規模は、再識別モデルの一般化能力にどのような影響を及えるか？
• RQ5 FastHumanのような大規模かつ多様なベンチマークは、ドメイン一般化可能な人物再識別分野における研究を効果的に支援・加速できるか？

主な発見

• ResNeSt-269を教師モデルとして使用した場合、SSKDはMarket1501で90.86%のランク-1精度、MSMT17で57.35%を達成し、標準的な知識蒸留や自己教師ありベースラインを上回った。
• SSKD+DSRのバリエーションは、SSKDに比べてPartialREIDで2.70%、CrowdReIDで2.00%の性能向上を示し、空間的特徴再構築の有効性を裏付けた。
• ResNeSt-269を教師モデルとして使用した場合、より小さいResNet-50教師モデルからの蒸留に比べ、CrowdReIDで最大4.56%の性能向上が得られた。
• 未ラベルデータに対する知識蒸留の最適な温度ハイパーパrameterはτᵤᵏ = 6であり、これによりMarket1501で89.3%、DukeMTMCで78.4%のランク-1精度が達成された。
• 未ラベルのYouTube-Humanデータのサイズを増加させることで、一般化性能が一貫して向上し、使用するデータ量が増えるほど性能が向上した。
• 提案されたFastHumanベンチマークは、20の多様なデータセットと30万枚以上のYouTube-Human画像を含む440万枚以上の画像を有し、現実的シナリオにおけるドメイン一般化の評価を強固に可能にした。