[論文レビュー] A Novel Teacher-Student Learning Framework For Occluded Person Re-Identification

Jiaxuan Zhuo, Jianhuang Lai+1 more|arXiv (Cornell University)|Jul 7, 2019

Video Surveillance and Tracking Methods参考文献 31被引用数 45

ひとこと要約

本論文は、コサリエンシー・ネットワークとクロスドメイン・シミュレーターを用いて、全身ドメインから遮蔽ドメインへ知識を転送し、遮蔽された人物を頑健に再識別する二段階の教師-生徒学習フレームワークを提案する。

ABSTRACT

Person re-identification (re-id) has made great progress in recent years, but occlusion is still a challenging problem which significantly degenerates the identification performance. In this paper, we design a teacher-student learning framework to learn an occlusion-robust model from the full-body person domain to the occluded person domain. Notably, the teacher network only uses large-scale full-body person data to simulate the learning process of occluded person re-id. Based on the teacher network, the student network then trains a better model by using inadequate real-world occluded person data. In order to transfer more knowledge from the teacher network to the student network, we equip the proposed framework with a co-saliency network and a cross-domain simulator. The co-saliency network extracts the backbone features, and two separated collaborative branches are followed by the backbone. One branch is a classification branch for identity recognition and the other is a co-saliency branch for guiding the network to highlight meaningful parts without any manual annotation. The cross-domain simulator generates artificial occlusions on full-body person data under a growing probability so that the teacher network could train a cross-domain model by observing more and more occluded cases. Experiments on four occluded person re-id benchmarks show that our method outperforms other state-of-the-art methods.

研究の動機と目的

• 遮蔽されたターゲットが同定性能を劣化させる人物再識別における遮蔽に対処する。
• 頑健な学習のために大規模な全身人物データを活用して遮蔽シナリオをシミュレートする。
• 実データの遮蔽データを用いて生徒ネットワークを導くと同時に、教師が提供する遮蔽対応特徴から利活用する。

提案手法

• 全身データを用いて遮蔽をシミュレートする教師段階と、実際の遮蔽データから学習する生徒段階で構成される二段階の教師-生徒フレームワークを導入する。
• 人物の体の部位を強調するため、 backboneと2つのブランチ（識別のための分類、 salient-part検出のための co-saliency）を備えたコサリエンシー・ネットワークを提案する。
• 訓練中に全身画像を逐次的に遮蔽された画像へ変換するクロスドメイン・シミュレーターを使用する。
• ドメイン移行を整合させ、アイデンティティ損失と OBC 損失を多タスク損失に統合するために Occluded/non-occluded (OBC) バイナリ分類器を用いる。
• 生徒の訓練の教師として教師の co-saliency 出力をグラウンドトゥルースとして組み合わせ、遮蔽耐性とサリエンシー推定を向上させる。

実験結果

リサーチクエスチョン

• RQ1 教師-生徒フレームワークは全身ドメインと遮蔽ドメインの間のギャップを再識別のために橋渡しできるか？
• RQ2 コサリエンシー指導とクロスドメイン・シミュレーションは遮蔽された人物の再識別性能を向上させるか？
• RQ3 成長確率遮蔽機構が遮蔽耐性特徴の学習にどのように影響するか？
• RQ4 シミュレートされた遮蔽から実遮蔽への知識移転は生徒モデルに利益をもたらすか？
• RQ5 他のサリエンシー検出器と比較して、コサリエンシー分岐は顕著な遮蔽領域を検出するのに有効か？

主な発見

• 提案されたフレームワークは、四つのベンチマークで最先端手法と比較して遮蔽された人物再識別性能を向上させる。
• 分類とコサリエンシー両ブランチを備え、クロスドメイン・シミュレーションと OBC 損失を組み合わせた教師ネットワークは、ベースライン構成に対して顕著な向上をもたらす。
• 成長確率クロスドメイン・シミュレーターは固定確率や遮蔽なしの設定を上回り、段階的なドメイン適応を促進する。
• コサリエンシー・ブランチは顕著領域の局在化を強化し、再識別とサリエンシー検出の指標を両方向上させる。
• 教師のコサリエンシー出力を生徒の監督信号として使用することは、遮蔽耐性と検出精度を向上させる。