[論文レビュー] FD-GAN: Pose-guided Feature Distilling GAN for Robust Person Re-identification

Yixiao Ge, Zhuowan Li+5 more|arXiv (Cornell University)|Oct 6, 2018

Video Surveillance and Tracking Methods被引用数 283

ひとこと要約

FD-GANは、同一性関連の特徴と姿勢に依存しない特徴を、姿勢誘導生成と同一姿勢制約を用いたSiamese GANフレームワークによって学習し、テスト時に追加の姿勢入力なしで最先端のreID性能を達成する。

ABSTRACT

Person re-identification (reID) is an important task that requires to retrieve a person's images from an image dataset, given one image of the person of interest. For learning robust person features, the pose variation of person images is one of the key challenges. Existing works targeting the problem either perform human alignment, or learn human-region-based representations. Extra pose information and computational cost is generally required for inference. To solve this issue, a Feature Distilling Generative Adversarial Network (FD-GAN) is proposed for learning identity-related and pose-unrelated representations. It is a novel framework based on a Siamese structure with multiple novel discriminators on human poses and identities. In addition to the discriminators, a novel same-pose loss is also integrated, which requires appearance of a same person's generated images to be similar. After learning pose-unrelated person features with pose guidance, no auxiliary pose information and additional computational cost is required during testing. Our proposed FD-GAN achieves state-of-the-art performance on three person reID datasets, which demonstrates that the effectiveness and robust feature distilling capability of the proposed FD-GAN.

研究の動機と目的

• テスト時に補助的な姿勢情報に頼らず、姿勢の変動に対して頑健な人物再識別を促進する。
• 姿勢とは無関係な情報を排除しつつ、アイデンティティ関連の特徴を蒸留するフレームワークを開発する。
• Siamese設定で特徴学習を正規化するために、姿勢誘導生成と識別器を導入する。

提案手法

• 各ブランチに画像エンコーダ E と画像生成器 G を備えた Siamese ネットワークを使用する。
• 新しい姿勢の下で同一人物の画像を合成するために、ターゲット姿勢マップとエンコードされたアイデンティティ特徴を用いて G を条件付けする。
• アイデンティティ識別器 D_id と姿勢識別器 D_pd を用いて、生成画像をアイデンティティの保存とターゲット姿勢への一致に向けて正規化する。
• 同一アイデンティティの2つのブランチから生成された画像が、同じ姿勢の下で視覚的に類似するように同一姿勢損失を導入する。
• 生成器の訓練を安定化させる再構成損失と、アイデンティティ監督のための検証分類子 V を組み込む。
• 3つの段階で訓練する：ReIDベースラインの事前訓練、識別器を用いたFD-GANの事前訓練、グローバルなエンドツーエンド微調整。

実験結果

リサーチクエスチョン

• RQ1 テスト時に姿勢データに依存せず、再識別特徴における姿勢変動を緩和できるか？
• RQ2 識別器と姿勢識別器を用いた敵対的正規化は、姿勢に依存しないアイデンティティ特徴を効果的に蒸留するか？
• RQ3 同一姿勢制約は、アイデンティティ識別を損なうことなく、姿勢変化への頑健性を向上させるか？

主な発見

方法	Market-1501 mAP	Market-1501 top-1	CUHK03 mAP	CUHK03 top-1	DukeMTMC-reID mAP	DukeMTMC-reID top-1
FD-GAN	77.7	90.5	91.3	92.6	64.5	80.0
Baseline Siamese	72.5	88.2	-	78.2	61.3	-

• FD-GANは、Market-1501（Top-1 90.5%、mAP 77.7%）、CUHK03（Top-1 92.6%、mAP 91.3%）、DukeMTMC-reID（Top-1 80.0%、mAP 64.5%）で最先端のTop-1とmAPを達成。
• Siameseベースラインは、単一ブランチのベースラインを大幅に上回り、ブランチ間検証の利点を示している。
• 成分を削除すると（例：姿勢増強、D_id、D_pd、同一姿勢損失、検証損失など）、性能が低下し、各成分の寄与が確認される。
• EとD_idの重みを共有しない方が性能が良く、タスク特有の特徴学習が有利であることを示している。
• FD-GAN生成画像は、いくつかの専用の人物生成法よりも高品質で、アイデンティティを保持した姿勢転移を効果的に反映している。