[論文レビュー] Enhancing Diversity in Teacher-Student Networks via Asymmetric branches for Unsupervised Person Re-identification

Hao Chen, Benoit Lagadec+1 more|arXiv (Cornell University)|Nov 27, 2020

Video Surveillance and Tracking Methods参考文献 38被引用数 39

ひとこと要約

Mean Teacher に非対称ブランチを導入することで、無監視の Re-ID における appearance-signature の多様性を高め、教師と学生の重みをデカップリングして、無監視ドメイン適用と完全無監督の Re-ID を改善する。

ABSTRACT

The objective of unsupervised person re-identification (Re-ID) is to learn discriminative features without labor-intensive identity annotations. State-of-the-art unsupervised Re-ID methods assign pseudo labels to unlabeled images in the target domain and learn from these noisy pseudo labels. Recently introduced Mean Teacher Model is a promising way to mitigate the label noise. However, during the training, self-ensembled teacher-student networks quickly converge to a consensus which leads to a local minimum. We explore the possibility of using an asymmetric structure inside neural network to address this problem. First, asymmetric branches are proposed to extract features in different manners, which enhances the feature diversity in appearance signatures. Then, our proposed cross-branch supervision allows one branch to get supervision from the other branch, which transfers distinct knowledge and enhances the weight diversity between teacher and student networks. Extensive experiments show that our proposed method can significantly surpass the performance of previous work on both unsupervised domain adaptation and fully unsupervised Re-ID tasks.

研究の動機と目的

• 非監視 Re-ID における pseudo-label ノイズを特徴量と重みの多様性を高めることで低減する動機付け。
• appearance signatures を多様化するための非対称ブランチを提案。
• 教師-学生ネットワークの結合を防ぐためのクロスブランチ監督を導入。
• 非監視ドメイン適応と完全無監督 Re-ID のタスクでの改善を実証。

提案手法

• ResNet ボディの最後の層を複製して、深さとプーリングが異なる二つの非対称ブランチを作成する（GAP vs GMP）。
• 二つのブランチからの特徴を結合して、クラスタリングベースの pseudo-label のためのよりリッチな外観署名を形成。
• 各ブランチの教師が反対ブランチの学生を指導するクロスブランチ教師-学生監督を用い、クロスエントロピーとソフトトリップレット損失を適用。
• DBSCAN ベースの pseudo-labeling でクラスタ数が変動するのを扱うため、各エポックで動的な分類器を計算。
• Mean Teacher を用いて教師の重みを学生の EMA によって更新し、クロスブランチのソフトラベルとソフトトリップレット制約で強化。

実験結果

リサーチクエスチョン

• RQ1 Mean Teacher フレームワーク内の異質（非対称）ブランチは、教師と学生の間に多様性を持続させ、結合を回避できるか。
• RQ2 クロスブランチ監督信号はソフト pseudo-label の品質と Re-ID の特徴の識別力を向上させるか。
• RQ3 ABMT は標準的な最先端の無監督ドメイン適応および完全無監督 Re-ID 手法と比較してどうであるか。

主な発見

• 非対称ブランチはターゲットドメイン適応時の性能を大幅に向上させる。
• DBSCAN での動的クラスタリングとクロスブランチ監督により、ハード/ソフトの pseudo-label が改善される。
• ABMT は Market→Duke および Duke→Market のタスクで従来の Mean-Teacher ベースの UDA 手法を上回り（例：Market→Duke で 69.1% mAP と 82.0% Rank-1 など）。
• クロスブランチ監督は学習全体を通じて教師-学生の特徴の多様性を高く維持し、結合を抑制。
• backbone の改善（例: IBN-ResNet50） はすべてのタスクで結果をさらに強化。