[論文レビュー] SiCL: Silhouette-Driven Contrastive Learning for Unsupervised Person Re-Identification with Clothes Change

Mingkun Li, Peng Xu+2 more|arXiv (Cornell University)|May 23, 2023

Video Surveillance and Tracking Methods被引用数 4

ひとこと要約

本論文は、衣装の変更下での長期間にわたる人物再識別を想定した、未教師ありの対照的学習フレームワーク「MaskCL」を提案する。人物のシルエットマスクを意味的プロンプトとして用い、衣装変更に不変な特徴を学習する。RGBとマスク特徴から階層的な意味的近傍構造を構築することで、MaskCLは未教師ありのベースラインを著しく上回り、5つのベンチマークデータセットにおいて教師ありSOTAに近づく。

ABSTRACT

In this paper, we address a highly challenging yet critical task: unsupervised long-term person re-identification with clothes change. Existing unsupervised person re-id methods are mainly designed for short-term scenarios and usually rely on RGB cues so that fail to perceive feature patterns that are independent of the clothes. To crack this bottleneck, we propose a silhouette-driven contrastive learning (SiCL) method, which is designed to learn cross-clothes invariance by integrating both the RGB cues and the silhouette information within a contrastive learning framework. To our knowledge, this is the first tailor-made framework for unsupervised long-term clothes change eid{}, with superior performance on six benchmark datasets. We conduct extensive experiments to evaluate our proposed SiCL compared to the state-of-the-art unsupervised person reid methods across all the representative datasets. Experimental results demonstrate that our proposed SiCL significantly outperforms other unsupervised re-id methods.

研究の動機と目的

• 衣装の変更下での長期間にわたる未教師あり人物再識別手法の不足に取り組むこと。これは現実的ではあるが、未だ十分に検討されていない設定である。
• 従来の未教師あり手法がRGB特徴のみに依存し、衣装の色でクラスタリングすることで誤りの伝搬が生じる問題を克服すること。
• シルエットマスクを意味的プロンプトとして統合することで、衣装に依存しない、衣装変更に不変な特徴を対照的学習で学習すること。
• 5つのデータセットを用いた広範な評価を通じて、衣装変更を伴う未教師あり長期間人物再識別におけるベンチマークを確立すること。

提案手法

• RGBおよびシルエットマスク特徴を抽出する2本のブランチを持つネットワークを採用し、外観と意味的構造の共同学習を可能にする。
• シルエットマスクを意味的プロンプトとして用い、対照的学習をガイドすることで、衣装変更に対する不変性を促進する。
• 階層的な意味的近傍構造を構築する：RGB特徴によるインスタンスレベルのクラスタリングと、RGBとマスク特徴を統合した特徴を用いたクラスターレベルの近傍探索。
• 正例ペア（同一ID）が特徴空間で近づくように促す対照的損失を用いてモデルを訓練する。マスク特徴からの意味的近傍が学習をガイドする。
• 意味的近傍集合に基づくネガティブサンプリング戦略を採用し、異なる衣装の外観に対しても特徴の整合性を向上させる。
• RGBとマスクに基づく意味的キューを活用する対照的目的関数を用いて、End-to-Endで学習し、衣装変更に起因する特徴の乖離を最小化する。

Figure 1: Illustration of hierarchical semantic clustering. At a lower level, clustering is used to disclose the instance neighbor structure; at a higher level, semantic features and RGB data are combined to expose the cluster neighbor structure.

実験結果

リサーチクエスチョン

• RQ1 未教師あり人物再識別モデルは、顕著な衣装変更を伴う長期間のシナリオに一般化可能か？
• RQ2 シルエットマスクは、対照的学習をガイドし、衣装変更に不変な特徴を向上させる有効な意味的プロンプトとして機能するか？
• RQ3 RGBとマスク特徴を統合した階層的意味的近傍構造は、RGB特徴のみのクラスタリングに比べ、より優れた特徴学習をもたらすか？
• RQ4 抽出されたシルエットマスクの品質が、低品質および高品質のデータセットにおけるモデル性能に与える影響は何か？
• RQ5 未教師あり手法は、実世界の制約のある衣装変更ベンチマークで、教師ありSOTAに近い性能を達成可能か？

主な発見

• MaskCLはVC-Clothesで61.7% mAPおよび71.7% R-1を達成し、次に優れた未教師あり手法をmAPで2%以上上回った。
• 挑戦的なDeepchangeベンチマークでは、ResNet-50を用いて11.8% mAPおよび39.7% R-1を達成し、未教師ありSOTAのSpCL（8.90% mAP）を上回った。
• DeepchangeでViT-B16を用いた場合、教師ありSOTAと同等の14.9% mAPを達成し、性能ギャップを縮めた。
• VC-Clothesでは、RGBを除いたマスク特徴のみを用いた場合が最良の結果（63.4% mAP）を示し、高品質なマスクが豊富な不変情報を持つことを示した。
• 可視化結果から、MaskCLはCACLに比べてより正確なマッチングを生成し、色の類似性に起因する誤ったマッチングが少ないことが確認された。
• 訓練過程において、意味的近傍集合内の正しく同一IDのサンプルの割合が増加した。これは、特徴の整合性とクラスタの一貫性が向上したことを裏付けた。

Figure 2: Visualizing the intrinsic challenges in long-term person re-id with clothes change. We randomly selected $28$ images of a single individual from the Deepchange [ 48 ] dataset. It is clear that the differences in appearance across different clothes (rows) are much more significant than that