[論文レビュー] Going Deeper into Semi-supervised Person Re-identification

Olga Moskvyak, Frédéric Maire+2 more|arXiv (Cornell University)|Jul 24, 2021

Video Surveillance and Tracking Methods参考文献 48被引用数 6

ひとこと要約

本論文は、ラベルなしデータにおけるアイデンティティ数の事前知識を必要とせずに、1つの畳み込みニューラルネットワーク（CNN）から得られる部分ベースの埋め込みのコンSENSUSクラスタリングを用いて偽ラベルを割り当てる、新しい半教師付き人物再識別手法を提案する。特徴の識別性を向上させるために、PartMixUp損失を導入し、ラベル付きデータの1/3のみで、完全教師ありモデルと同等の精度を達成しながら計算コストを削減した、最先端の性能を実現した。

ABSTRACT

Person re-identification is the challenging task of identifying a person across different camera views. Training a convolutional neural network (CNN) for this task requires annotating a large dataset, and hence, it involves the time-consuming manual matching of people across cameras. To reduce the need for labeled data, we focus on a semi-supervised approach that requires only a subset of the training data to be labeled. We conduct a comprehensive survey in the area of person re-identification with limited labels. Existing works in this realm are limited in the sense that they utilize features from multiple CNNs and require the number of identities in the unlabeled data to be known. To overcome these limitations, we propose to employ part-based features from a single CNN without requiring the knowledge of the label space (i.e., the number of identities). This makes our approach more suitable for practical scenarios, and it significantly reduces the need for computational resources. We also propose a PartMixUp loss that improves the discriminative ability of learned part-based features for pseudo-labeling in semi-supervised settings. Our method outperforms the state-of-the-art results on three large-scale person re-id datasets and achieves the same level of performance as fully supervised methods with only one-third of labeled identities.

研究の動機と目的

• ラベル付きデータが限られているという現実世界の制約に直面する人物再識別を解決すること。
• ラベルなしデータにおけるアイデンティティ数を仮定する必要をなくし、実運用環境で現実的でない要件を回避すること。
• アンサンブルモデルや複数のCNNを避けることで、計算コストを削減すること。
• 意味的パーツの埋め込みのコンセンサスクラスタリングにより、偽ラベルの品質を向上させること。
• 新規のPartMixUp損失関数を用いて、部分ベースの埋め込みの特徴識別性を向上させること。

提案手法

• 複数のネットワークや複雑なパーツ検出器を必要としない、1つのCNNを用いて画像から部分ベースの埋め込みを抽出する。
• 意味的パーツ（例：水平ストライプ）を横断的にコンセンサスクラスタリングすることで、アイデンティティ数を仮定せずに偽ラベルを割り当てる。
• 異なるアイデンティティの意味的パーツの埋め込みを混合することで、訓練中にハードネガティブサンプルを生成するPartMixUp損失を採用する。
• 入力画像レベルではなく、埋め込みレベルで混合を行うため、ラベル付きおよびラベルなしデータに適用可能である。
• データ漏洩を防ぎ、有効なネガティブペアを保証するために、混合には別個のアイデンティティを用いる。
• 事前にクラスタ数を定義する必要がなく、動的クラスタ数推定を用いた階層的クラスタリングを適用する。

実験結果

リサーチクエスチョン

• RQ1 アイデンティティ数を仮定しない状況下で、部分ベースの埋め込みのコンセンサスクラスタリングが、半教師付き人物再識別における偽ラベル品質の向上に寄与するか？
• RQ2 提案されたPartMixUp損失は、部分ベースの埋め込みの特徴識別性向上において、トリプレット損失に比べて優れているか？
• RQ3 1つのCNNと部分ベース特徴、コンセンサスクラスタリングを用いた手法が、低ラベルデータ環境下で、複数CNNやアンサンブルベースの手法を上回る性能を示せるか？
• RQ4 コンセンサスクラスタリングにおける合意閾値の変化が、クラスタリング品質および再識別精度に与える影響は何か？
• RQ5 本手法は、異なるデータセットおよびラベル比率（特に1/3ラベル付きデータ）において、どのように性能を発揮するか？

主な発見

• 提案手法は、ラベル付きアイデンティティの1/3のみで、Market-1501で91.5%のランク-1精度を達成し、完全教師ありモデルと同等の性能を示した。
• 部分埋め込みのコンセンサスクラスタリングはランダムインデックス0.85を達成し、連結法（0.82）や個別パーツクラスタリング（0.79–0.80）を上回った。
• 全6パーツが100%合意する（完全一致）場合が最良の性能を示し、4/6合意では87.5%、3/6合意では81.9%に低下した。
• PartMixUp損失は、完全教師あり設定下でPCBモデルのmAPを77.4%から78.2%に、半教師あり設定下でMarket-1501で76.2%から76.7%に向上させた。
• 階層的クラスタリングは、アフィニティプロパゲーションやDBSCANを上回り、Market-1501（1/3ラベル付き）で88.1%のランク-1および72.6%のmAPを達成した。DBSCANは意味のあるクラスタを検出できなかった。
• 本手法は任意のCNNバックボーンと互換性があり、複数ネットワークアンサンブルと比較して顕著に計算コストを削減した。