[論文レビュー] Unsupervised Person Re-identification via Multi-label Classification

Dongkai Wang, Shiliang Zhang|arXiv (Cornell University)|Apr 20, 2020

Video Surveillance and Tracking Methods被引用数 35

ひとこと要約

本論文は、監視なしの人物再識別を、memory-based label prediction (MPLP) および memory-based multi-label classification loss (MMCL) を用いたマルチラベル分類として定式化し、古典的な ReID データセットにおいて強力な監視なしおよび転移学習の結果を達成している。

ABSTRACT

The challenge of unsupervised person re-identification (ReID) lies in learning discriminative features without true labels. This paper formulates unsupervised person ReID as a multi-label classification task to progressively seek true labels. Our method starts by assigning each person image with a single-class label, then evolves to multi-label classification by leveraging the updated ReID model for label prediction. The label prediction comprises similarity computation and cycle consistency to ensure the quality of predicted labels. To boost the ReID model training efficiency in multi-label classification, we further propose the memory-based multi-label classification loss (MMCL). MMCL works with memory-based non-parametric classifier and integrates multi-label classification and single-label classification in a unified framework. Our label prediction and MMCL work iteratively and substantially boost the ReID performance. Experiments on several large-scale person ReID datasets demonstrate the superiority of our method in unsupervised person ReID. Our method also allows to use labeled person images in other domains. Under this transfer learning setting, our method also achieves state-of-the-art performance.

研究の動機と目的

• 真のラベルなしで識別性の高い ReID 特徴を学習するという課題に取り組む。
• 真のアイデンティティを発見するために、監視なしの ReID を段階的なマルチラベル分類として定式化する。
• memory bank とサイクル整合性を用いて信頼できるマルチラベルを予測する MPLP を開発する。
• 多数クラスを扱う際に効率的で勾配にやさしい訓練を実現する MMCL を導入する。
• 大規模な ReID データセットで、強力な監視なしおよび転移学習性能を示す。

提案手法

• 各未ラベル画像を潜在的なクラスとして扱い、訓練のために段階的にマルチラベルを予測する。
• 画像特徴を格納するメモリーバンク M を使用し、類似性とサイクル整合性を活用して MPLP によってラベルを予測する。
• M^T f_i スコアを用い、シグモイドを用いずにラベルを予測する Memory-based Multi-label Classification Loss (MMCL) で訓練し、ハードネガティブマイニングを含む。
• 各イテレーション後に指数移動平均と L2 正規化で特徴を更新する。
• 特徴の頑健性とラベル予測の信頼性を高めるためにデータ拡張（例：CamStyle）を適用する。
• MMCL を標準的なラベル付きデータ損失と組み合わせることで転移学習のオプションを提供する。

実験結果

リサーチクエスチョン

• RQ1 ラベル付きデータなしで、MPLP によるマルチラベルを逐次予測し MMCL で訓練することで、監視なしの ReID を実現できるのか？
• RQ2 メモリベースのラベル予測は、マルチラベル訓練の疑似ラベルの質と一貫性を改善するか？
• RQ3 MMCL は、多数クラスを含むマルチラベル学習に固有の勾配消失やクラス不均衡の問題に対処するか？
• RQ4 Market-1501、DukeMTMC-reID、および MSMT17 に対する、完全に監視なし設定および転移学習設定での提案手法の性能はどの程度か？

主な発見

• Market-1501 では、監視なしの MMCL+MPLP が rank-1 80.3% および mAP 45.5% を達成し、従来の監視なし手法を大きく上回る。
• 転移学習（DukeMTMC-reID をソースとして使用）で、Market-1501 の rank-1 は 84.4% に達する。
• MSMT17 では、監視なしモードで 35.4% の rank-1、転移設定では 43.6% / 58.9% (rank-1 / Rank-10) を達成し、より大規模で難易度の高いデータセットで競争力のある性能を示す。
• アブレーション研究により、MPLP は KNN および SS ベースのラベル予測を上回り、MMCL はクロスエントロピー損失を上回ること、特にハードネガティブマイニング時に顕著である。
• CamStyle データ拡張は性能を大幅に向上させ、監視なし ReID におけるデータ拡張の重要性を裏付ける。
• MMCL はシグモイドベースの訓練の非効率を回避し、正規化されたスコアの二乗損失とターゲットを絞ったハードネガティブマイニングによって勾配消失を軽減する。