[論文レビュー] Learning Shape Representations for Clothing Variations in Person Re-Identification

Yu-Jhe Li, Zhengyi Luo+2 more|arXiv (Cornell University)|Mar 16, 2020

Video Surveillance and Tracking Methods参考文献 49被引用数 33

ひとこと要約

CASE-Net は人の re-ID における衣服色に不変なボディ形状表現を学習し、synthetic datasets SMPL-reID と Div-Market の衣服変更シナリオで最先端手法を上回る。

ABSTRACT

Person re-identification (re-ID) aims to recognize instances of the same person contained in multiple images taken across different cameras. Existing methods for re-ID tend to rely heavily on the assumption that both query and gallery images of the same person have the same clothing. Unfortunately, this assumption may not hold for datasets captured over long periods of time (e.g., weeks, months or years). To tackle the re-ID problem in the context of clothing changes, we propose a novel representation learning model which is able to generate a body shape feature representation without being affected by clothing color or patterns. We call our model the Color Agnostic Shape Extraction Network (CASE-Net). CASE-Net learns a representation of identity that depends only on body shape via adversarial learning and feature disentanglement. Due to the lack of large-scale re-ID datasets which contain clothing changes for the same person, we propose two synthetic datasets for evaluation. We create a rendered dataset SMPL-reID with different clothes patterns and a synthesized dataset Div-Market with different clothing color to simulate two types of clothing changes. The quantitative and qualitative results across 5 datasets (SMPL-reID, Div-Market, two benchmark re-ID datasets, a cross-modality re-ID dataset) confirm the robustness and superiority of our approach against several state-of-the-art approaches

研究の動機と目的

• 衣服の変化が性能を低下させる人の再識別における衣服依存問題に対処する。
• 衣服の色や質感に依存しないボディ形状を捉える表現を開発する。
• 衣服の変化を模した合成データセットおよび標準的な re-ID ベンチマークで評価し、頑健性と一般化性能を示す。

提案手法

• Color Agnostic Shape Extraction Network (CASE-Net) を提案し、色からボディ形状を分離する adversarial 学習を用いる。
• RGB画像とグレースケール画像から色に不変な特徴を生成する形状エンコーダを用いる。
• 色の変化間で色に不変な特徴分布を揃えるための特徴識別器を用いる。
• 色特徴を捉えるカラーエンコーダと、形状特徴と色特徴に条件付けられた生成器を用いて、姿勢誘導画像再構成を可能にする。
• 識別損失とトリプレット損失で訓練し、識別的な形状特徴（L_id と L_tri）を保証する。
• 画像識別器と再構成損失を組み込み、現実的な姿勢誘導画像合成を強制する（L_rec および L_adv^D_I）。

実験結果

リサーチクエスチョン

• RQ1 CASE-Net は衣服の色や柄に不変なボディ形状表現を学習できるか？
• RQ2 従来の re-ID 手法と比較して、衣服の色変化は既存手法にどの程度影響を与えるか？
• RQ3 合成された衣服変更データセットは最先端の re-ID モデルの弱点を明らかにするか？
• RQ4 CASE-Net はドメイン間やモダリティ間のシナリオに一般化できるか？
• RQ5 各損失項が最終的なボディ形状表現に与える影響はどれくらいか？

主な発見

手法	SMPL-reID R1	SMPL-reID R5	SMPL-reID R10	SMPL-reID mAP	Div-Market R1	Div-Market R5	Div-Market R10	Div-Market mAP
Ours	62.0	77.8	81.5	28.1	56.2	71.5	79.2	13.5

• CASE-Net は衣服変更条件下で SMPL-reID および Div-Market において最先端の性能を達成。
• 標準的な re-ID 手法は衣服変更があると性能が著しく低下する。
• CASE-Net は Market-1501 および DukeMTMC-reID において標準および拡張（カラー変更）設定で、標準およびクロスモダリティのベースラインを上回る。
• クロスモダリティ SYSU-MM01 では、CASE-Net は RGB-IR シナリオへの一般化性能が競争力を示す。
• アブレーション研究により、カラー対抗損失、トリプレット損失、識別損失、再構成損失などの成分を除去すると Rank-1 と mAP が低下し、各項の寄与を確認できる。
• 本論文は衣服変更の頑健性を評価するための二つの合成データセット（SMPL-reID と Div-Market）を提供し、多くのベースラインが失敗する領域を示す。