[논문 리뷰] Learning Disentangled Representation for Robust Person Re-identification

Chanho Eom, Bumsub Ham|arXiv (Cornell University)|2019. 10. 26.

Video Surveillance and Tracking Methods인용 수 36

한 줄 요약

IS-GAN은 보조 신호 없이 식별 관련 특징과 식별과 무관한 특징을 disentangled하게 학습하고, identity shuffling을 사용하여 표준 reID 벤치마크에서 최첨단 성과를 달성합니다.

ABSTRACT

We address the problem of person re-identification (reID), that is, retrieving person images from a large dataset, given a query image of the person of interest. A key challenge is to learn person representations robust to intra-class variations, as different persons can have the same attribute and the same person's appearance looks different with viewpoint changes. Recent reID methods focus on learning discriminative features but robust to only a particular factor of variations (e.g., human pose), which requires corresponding supervisory signals (e.g., pose annotations). To tackle this problem, we propose to disentangle identity-related and -unrelated features from person images. Identity-related features contain information useful for specifying a particular person (e.g., clothing), while identity-unrelated ones hold other factors (e.g., human pose, scale changes). To this end, we introduce a new generative adversarial network, dubbed \emph{identity shuffle GAN} (IS-GAN), that factorizes these features using identification labels without any auxiliary information. We also propose an identity-shuffling technique to regularize the disentangled features. Experimental results demonstrate the effectiveness of IS-GAN, significantly outperforming the state of the art on standard reID benchmarks including the Market-1501, CUHK03 and DukeMTMC-reID. Our code and models are available online: https://cvlab-yonsei.github.io/projects/ISGAN/.

연구 동기 및 목표

• 크게 차이 있는 intra-class 변화 및 시점 변화 하에서 robust한 사람 재식별을 동기화합니다.
• 추가 감독 없이 오직 식별 라벨만을 사용하여 identity-related 정보와 identity-unrelated 요소를 disentangle합니다.
• IS-GAN으로 GAN 기반 프레임워크를 제안하고, disentanglement를 규제하기 위한 identity shuffling을 도입합니다.
• 추가 ablation 연구를 통해 표준 벤치마크에서 재식별 성능의 향상을 보여줍니다.

제안 방법

• GAN 프레임워크 내에서 identity-related 및 identity-unrelated feature 인코더를 제안합니다.
• 추가 감독 없이 같은 identity의 이미지 쌍에서 특징 disentangling을 학습합니다.
• 이미지 간 및 수평 바디 파트 영역 간의 identity-related 특징을 교환하여 이미지를 생성하는 identity shuffling 메커니즘을 사용합니다.
• 현실적인 합성 및 올바른 식별 라벨링을 강제하기 위해 도메인 및 클래스 두 가지 판별기를 사용합니다.
• 식별 손실, 관련 없는 특징에 대한 KL 정규화, 재구성 기반 및 적대적 손실(L_S, L_PS, L_D, L_C)을 포함한 복합 손실을 최적화합니다.

실험 결과

연구 질문

• RQ1 식별 라벨만으로 auxiliary 신호 없이 identity-related 및 identity-unrelated 특징을 disentangle 할 수 있는가?
• RQ2 전체 이미지 및 부분 수준 영역에서의 identity shuffling이 자세, 가리개, 배경 잡음에 대한 강건성을 향상시키는가?
• RQ3 제안된 disentangled 특징이 표준 벤치마크에서 재식별 성능 향상에 어떻게 기여하는가?
• RQ4 탐지기 및 손실 구성 요소가 특징 disentanglement 및 검색 정확도에 미치는 영향은 무엇인가?

주요 결과

• IS-GAN은 Market-1501에서 최첨단 Rank-1 및 mAP를 달성합니다(95.2% R1, 87.1% mAP).
• IS-GAN은 CUHK03에서 강력한 성능을 보였으며(74.1% R1, 72.5% mAP) DukeMTMC-reID에서도(72.3% R1, 68.8% mAP) 보고된 결과 중 상위에 위치합니다.
• ablation 연구에서 identity shuffling을 통한 identity disentangling이 데이터셋 전반에서 성능을 향상시켰습니다.
• 부분 수준 identity shuffling은 전체 이미지 shuffling보다 재식별 정확도를 더 높였습니다.
• 도메인 및 클래스 정보를 위한 판별기가 disentanglement 손실을 보완하여 최상의 종합 결과를 달성합니다.
• IS-GAN은 학습된 identity-related 특징을 통해 자세 변화, 가리개 및 배경 잡음에 대한 강건성을 보여줍니다.