[論文レビュー] Learning Disentangled Representation for Robust Person Re-identification

Chanho Eom, Bumsub Ham|arXiv (Cornell University)|Oct 26, 2019

Video Surveillance and Tracking Methods被引用数 36

ひとこと要約

IS-GAN は identity-related と identity-unrelated features を補助信号なしで学習し、 identity shuffling を用いて標準 reID ベンチマークで最先端の結果を達成します。

ABSTRACT

We address the problem of person re-identification (reID), that is, retrieving person images from a large dataset, given a query image of the person of interest. A key challenge is to learn person representations robust to intra-class variations, as different persons can have the same attribute and the same person's appearance looks different with viewpoint changes. Recent reID methods focus on learning discriminative features but robust to only a particular factor of variations (e.g., human pose), which requires corresponding supervisory signals (e.g., pose annotations). To tackle this problem, we propose to disentangle identity-related and -unrelated features from person images. Identity-related features contain information useful for specifying a particular person (e.g., clothing), while identity-unrelated ones hold other factors (e.g., human pose, scale changes). To this end, we introduce a new generative adversarial network, dubbed \emph{identity shuffle GAN} (IS-GAN), that factorizes these features using identification labels without any auxiliary information. We also propose an identity-shuffling technique to regularize the disentangled features. Experimental results demonstrate the effectiveness of IS-GAN, significantly outperforming the state of the art on standard reID benchmarks including the Market-1501, CUHK03 and DukeMTMC-reID. Our code and models are available online: https://cvlab-yonsei.github.io/projects/ISGAN/.

研究の動機と目的

• 大きなクラス内変動と視点変化の下で頑健な person re-identification を動機づける。
• 追加の監視 signals を使わず、identity-related 情報を identity-unrelated factors から分離する。
• IS-GAN として identity shuffling を用いた GAN ベースのフレームワークを提案し、分離を正則化する。
• アブレーション研究とともに標準ベンチマークで reID パフォーマンスの改善を示す。

提案手法

• GAN フレームワーク内で identity-related feature encoder と identity-unrelated feature encoder を提案する。
• 追加の監視なしに同一 identity の画像ペアから特徴を学ぶことで特徴を分離する。
• 画像全体および水平なボディ部領域を跨いで identity-related features を swap する identity shuffling 機構を用いて画像を生成する。
• 現実的な合成と正しい identity ラベリングを強制するため dual discriminators (domain と class) を用いて訓練する。
• identification loss、unrelated features の KL 正則化、および reconstruction-based と adversarial losses (L_S, L_PS, L_D, L_C) を含む複合損失を最適化する。

実験結果

リサーチクエスチョン

• RQ1 識別ラベルのみを用いて auxiliary signals なしに identity-related および identity-unrelated features を分離できるか？
• RQ2 全体画像およびパートレベル領域での identity shuffling は姿勢、遮蔽、背景の混雑への頑健性を改善するか？
• RQ3 分離された特徴は標準ベンチマークでの reID パフォーマンス改善にどう寄与するか？
• RQ4 提案 discriminators と損失成分が特徴の分離と検索精度に与える影響は？

主な発見

手法	Market-1501 ランク1	Market-1501 mAP	CUHK03 ランク1	CUHK03 mAP	DukeMTMC-reID ランク1	DukeMTMC-reID mAP
IS-GAN	95.2	87.1	74.1	72.5	72.3	68.8

• IS-GAN は Market-1501 で rank-1 と mAP の最先端を達成（95.2% R1、87.1% mAP）。
• IS-GAN は CUHK03 で高い性能を発揮（74.1% R1、72.5% mAP）および DukeMTMC-reID（72.3% R1、68.8% mAP）を達成。
• アブレーション研究により identity の shuffling を伴う identity 分離がデータセット全体で性能を向上させることを示した。
• パートレベル identity shuffling は全体画像 shuffling より reID 精度をさらに向上させる。
• Discriminators for domain and class information complement the disentanglement losses to achieve best overall results.
• IS-GAN demonstrates robustness to pose variations, occlusion, and background clutter through learned identity-related features