[論文レビュー] Self-similarity Grouping: A Simple Unsupervised Cross Domain Adaptation Approach for Person Re-identification

Yang Fu, Yunchao Wei+4 more|arXiv (Cornell University)|Nov 26, 2018

Video Surveillance and Tracking Methods参考文献 47被引用数 48

ひとこと要約

この論文は、対象ドメインのグローバルな手掛かりから局所的な手掛かりを掘り起こして偽ラベルを割り当てる、自己相似性グルーピング（SSG）という教師なしの跨ドメイン適応手法を人の再識別に導入し、クラスタリングに基づく半教師付き拡張SSG++を提案します。

ABSTRACT

Domain adaptation in person re-identification (re-ID) has always been a challenging task. In this work, we explore how to harness the natural similar characteristics existing in the samples from the target domain for learning to conduct person re-ID in an unsupervised manner. Concretely, we propose a Self-similarity Grouping (SSG) approach, which exploits the potential similarity (from global body to local parts) of unlabeled samples to automatically build multiple clusters from different views. These independent clusters are then assigned with labels, which serve as the pseudo identities to supervise the training process. We repeatedly and alternatively conduct such a grouping and training process until the model is stable. Despite the apparent simplify, our SSG outperforms the state-of-the-arts by more than 4.6% (DukeMTMC to Market1501) and 4.4% (Market1501 to DukeMTMC) in mAP, respectively. Upon our SSG, we further introduce a clustering-guided semisupervised approach named SSG ++ to conduct the one-shot domain adaption in an open set setting (i.e. the number of independent identities from the target domain is unknown). Without spending much effort on labeling, our SSG ++ can further promote the mAP upon SSG by 10.7% and 6.9%, respectively. Our Code is available at: https://github.com/OasisYang/SSG .

研究の動機と目的

• 跨ドメインのアイデンティティ差とラベリングコストのため、人の再識別における教師なしドメイン適応を動機づける。
• グローバルからローカルの体ボディの手掛かりとして対象ドメインの固有の類似性を活用し、学習用の偽ラベルデータを形成する。
• 対象ラベルなしで表現を洗練させる反復的なグルーピングと学習手順を提案する。
• 限られたラベリングで完全に教師付きの性能に近づくよう、クラスタリングに基づく半教師付き拡張（SSG++）を導入する。

提案手法

• ソースデータセットで事前訓練されたResNet50バックボーンから特徴を抽出する。
• 対象の特徴マップを水平に全身・上半身・下半身に分割し、Global Average Poolingを適用して各画像につき3つの特徴ベクトルを得る。
• 各特徴ベクトル集合をクラスタリングして自己相似グルーピングの偽ラベルを生成する（画像ごとに3つの自己ラベル）。
• 偽ラベルを用いたトリプレット損失で訓練し、グローバル表現と局所表現を融合して最終評価を行う。
• クラスタリングに基づく半教師付き訓練を拡張することで、少量のクラスタリング由来のサブセットにラベルを付け、特徴空間内の最近傍によってラベルを伝播させる（3つの手掛かり）。
• 必要に応じてSSGとSSG++の損失で jointly 訓練し、効率と性能を向上させる。

実験結果

リサーチクエスチョン

• RQ1 未ラベルの対象ドメインサンプルは、グローバルからローカルへの自己相似グルーピングを有意に明らかにし、ソースで監視された性能とターゲットの教師なし性能とのギャップを縮められるか。
• RQ2 クラスタリングに基づく半教師付きアノテーション（SSG++）は、オープンセットシナリオにおける完全に教師付きの再識別性能へさらにギャップを縮めるか。
• RQ3 全身・上半身・下半身の手掛かりを用いることがクラスタリング品質と再識別精度にどのような影響を与えるか。

主な発見

• SSGは直接転移および従来のUDA手法より転移性能を改善し、DukeMTMC-ReIDからMarket1501へ、またその逆でも改善を示す。
• クラスタリングに用いる部位が2部位（上半身と下半身）の場合に最も良い結果が出て、無監視ベースラインと比較して複数の指標で5%以上の改善を達成する。
• クラスタリングに基づく半教師付き訓練（SSG++）は、mAPおよびrank-1を著しく向上させ、報告済みの設定で最大約10%のmAPおよび約6-7%のrank-1といった効果を示す。
• SSGとSSG++を jointly 訓練すると、逐次的なファインチューニング（SSG+ then SSG）より追加の利益が得られる。
• SSGとSSG++は、市場のMarket1501、DukeMTMC-ReID、MSMT17全体で最先端の教師なしドメイン適応手法と比較して競争力があるか、または優れている。