[論文レビュー] Unsupervised Person Re-identification by Soft Multilabel Learning

Hong-Xing Yu, Wei‐Shi Zheng+4 more|arXiv (Cornell University)|Mar 15, 2019

Video Surveillance and Tracking Methods参考文献 59被引用数 61

ひとこと要約

要約: 本論文は MAR を導入する。深層モデルが auxiliary reference persons を用いて未ラベル対象データのソフトマルチラベル表現を学習し、ソフトマルチラベル指向のハードネガティブマイニングとクロスビュー一貫性を可能にし、Market-1501 と DukeMTMC-reID で最先端の教師なしRE-IDを実現する。

ABSTRACT

Although unsupervised person re-identification (RE-ID) has drawn increasing research attentions due to its potential to address the scalability problem of supervised RE-ID models, it is very challenging to learn discriminative information in the absence of pairwise labels across disjoint camera views. To overcome this problem, we propose a deep model for the soft multilabel learning for unsupervised RE-ID. The idea is to learn a soft multilabel (real-valued label likelihood vector) for each unlabeled person by comparing (and representing) the unlabeled person with a set of known reference persons from an auxiliary domain. We propose the soft multilabel-guided hard negative mining to learn a discriminative embedding for the unlabeled target domain by exploring the similarity consistency of the visual features and the soft multilabels of unlabeled target pairs. Since most target pairs are cross-view pairs, we develop the cross-view consistent soft multilabel learning to achieve the learning goal that the soft multilabels are consistently good across different camera views. To enable effecient soft multilabel learning, we introduce the reference agent learning to represent each reference person by a reference agent in a joint embedding. We evaluate our unified deep model on Market-1501 and DukeMTMC-reID. Our model outperforms the state-of-the-art unsupervised RE-ID methods by clear margins. Code is available at https://github.com/KovenYu/MAR.

研究の動機と目的

• RE-ID のスケーラビリティに対処するため、ターゲットのラベルを削除し、補助的にラベル付きデータセットを活用する。
• 補助エージェントを介して未ラベルのターゲット画像に対してソフトで実数値のマルチラベル表現を学習する。
• ソフトマルチラベル学習、ソフトラベル導 guided mining、クロスドメインアライメントを統合した統合的な深層モデル（MAR）を開発する。
• カメラビュー間でのソフトマルチラベルのクロスビュー一貫性を確保し、クロスビューのマッチングを改善する。

提案手法

• ソフトマルチラベル y を l(f(x), {a_i}) を用いて正規化ベクトルとして定義し、 y^(k) = exp(a_k^T f(x)) / sum_i exp(a_i^T f(x))。
• 特徴量類似性とソフトマルチラベルの一致 A(y_i, y_j) = sum_k min(y_i^(k), y_j^(k)) に基づき、対を P/N に分類して、ソフトマルチラベルガイド付きハードネガティブマイニングを実行する。
• 2-Wasserstein距離の簡略化を介してカメラビュー間でソフトマルチラベル分布を整列させる、クロスビュー整合なソフトマルチラベル学習損失 L_CML を導入する。
• 参照エージェント {a_i} を用いて参照人物を圧縮表示し、補助データを整列させる Agent Learning 損失 L_AL を定義する。L_RAJ による共同埋め込みを含めてクロスドメインのずれを訂正する。
• L_MDL + λ1 L_CML + λ2 L_RAL で MAR を訓練する。L_MDL は soft multilabel guided mining を通じて識別的埋め込みを強制する。
• テスト時に probe- gallery ペアのコサイン類似度を計算して評価する。

実験結果

リサーチクエスチョン

• RQ1 補助参照セットから学習したソフトで実数値のマルチラベルは、ターゲットドメインの教師なしRE-IDをどのように改善できるか？
• RQ2 ターゲットラベルなしで、ソフトマルチラベルガイド付きハードネガティブマイニングとクロスビュー一貫性は識別的埋め込み学習を高められるか？
• RQ3 参照エージェントは補助データとターゲットデータセット間の効率的で堅牢なクロスドメイン学習を可能にするか？
• RQ4 MAR を用いて標準的な教師なしRE-IDベンチマーク（Market-1501、DukeMTMC-reID）で達成可能な性能向上はどれか？

主な発見

Method	Market-1501 ランク-1	Market-1501 ランク-5	Market-1501 mAP	DukeMTMC-reID ランク-1	DukeMTMC-reID ランク-5	DukeMTMC-reID mAP
MAR (this work)	67.7	81.9	40.0	67.1	79.8	48.0

• MAR は Market-1501 と DukeMTMC-reID で最先端の教師なしRE-ID性能を達成し、従来手法を著しく上回る。
• Market-1501 で MAR は Rank-1 67.7、Rank-5 81.9、mAP 40.0 を達成。
• DukeMTMC-reID で MAR は Rank-1 67.1、Rank-5 79.8、mAP 48.0 を達成。
• アブレーションにより、クロスビューソフトマルチラベル学習と参照エージェント学習が、事前学習済みソースのみモデルを超える性能向上に不可欠であることが示された。
• ソフトマルチラベル指導は特徴量類似性ベースのベースラインより大幅に改善し、L_CMLまたはL_RALを削除すると結果は低下する。
• 視覚的分析は MAR が細かな識別手掛かり（例: バックパックの有無）を識別し、視覚的に似た個人を区別することを示している。